OpenCV在Android上的應用示例

一. OpenCV 介紹

OpenCV是一個基于BSD許可（開源）發行的跨平臺計算機視覺庫，可以運行在Linux、Windows、Android和Mac OS操作系統上。它輕量級而且高效——由一系列 C 函數和少量 C++ 類構成，同時提供了Python、Ruby、MATLAB等語言的接口，實現了圖像處理和計算機視覺方面的很多通用算法。

在移動端上使用 OpenCV 可以完成一系列圖像處理的工作。

二. OpenCV 在 Android 上的配置

我在項目中使用的 OpenCV 版本是 4.x。

在 Android Studio 中創建一個 Library，將官網下載的 OpenCV 導入后，就可以直接調用 OpenCV 中 Java 類的方法。如果想調用 C++ 的類，也可以使用 CMake 創建環境，然后通過 include 文件放入指定路徑。下面是項目中使用的 CMakeLists.txt

cmake_minimum_required(VERSION 3.6.0)include_directories( ${CMAKE_SOURCE_DIR}/src/main/cpp/include)add_library(libopencv_java4 SHARED IMPORTED)set_target_properties( libopencv_java4 PROPERTIES IMPORTED_LOCATION ${CMAKE_SOURCE_DIR}/src/main/jniLibs/libs/${ANDROID_ABI}/libopencv_java4.so)add_library(libc++_shared SHARED IMPORTED)set_target_properties( libc++_shared PROPERTIES IMPORTED_LOCATION ${CMAKE_SOURCE_DIR}/src/main/jniLibs/libs/${ANDROID_ABI}/libc++_shared.so)add_library( detect SHARED src/main/cpp/detect-lib.cpp src/main/cpp/detect-phone.cpp)find_library( log-lib log)target_link_libraries( detect libopencv_java4 libc++_shared jnigraphics ${log-lib})

其中，detect-lib.cpp 和 detect-phone.cpp 是我創建的 C++ 類。打成 so 文件時，會包含這2個類。

三. 例子兩則

3.1 作為二維碼識別的兜底方案

在 Android 原生開發中，二維碼識別有老牌的 zxing 等開源庫。為何還要使用 OpenCV 呢？因為 OpenCV 有自己的優勢，借助它可以定位到二維碼的位置，一般識別不到二維碼的內容大多是因為找不到它的位置。要是能夠找到位置，就可以快速識別二維碼的內容。這樣一來，識別二維碼時需要先拍一張照，從圖像中找出二維碼的位置。當然，還可以對圖像進行預處理，以便能夠更好地找到二維碼的位置。下面的代碼，展示了在應用層拍完照之后，將圖片的路徑傳到 jni 層將其轉換成對應的 Mat 對象，再轉換成灰度圖像，然后找出二維碼的位置，要是能夠找到的話就識別出二維碼的內容。

extern 'C'JNIEXPORT jstring JNICALLJava_com_xxx_sdk_utils_DetectUtils_qrDetect(JNIEnv *env, jclass jc,jstring filePath) { const char *file_path_str = env->GetStringUTFChars(filePath, 0); string path = file_path_str; Mat src = imread(path); Mat gray, qrcode_roi; cvtColor(src, gray, COLOR_BGR2GRAY); QRCodeDetector qrcode_detector; vector<Point> pts; string detect_info; bool det_result = qrcode_detector.detect(gray, pts); if (det_result) { detect_info = qrcode_detector.decode(gray, pts, qrcode_roi); return env->NewStringUTF(detect_info.c_str()); } else { detect_info = ''; return env->NewStringUTF(detect_info.c_str()); }}

對應的 Java 代碼，方便應用層調用 jni 層的 qrDetect()

public class DetectUtils { static { System.loadLibrary('detect'); } /** * 識別二維碼 * @param filePath * @return */ public static native String qrDetect(String filePath); ......}

最后是應用層的調用

// 使用 OpenCV 進行二維碼識別val result = DetectUtils.qrDetect(filePath)L.d('opencvs識別二維碼: $result')

3.2 比對圖像的差異

在我們的實際開發中遇到一個應用場景：需要判斷我們的手機回收機里面是否存放了物體。(手機回收機是一個觸摸屏設備，可以通過 Android 系統來操作內部的硬件設備。)

我們事先拍一張回收機內沒有物體的圖作為基準圖像，等到需要判斷是否存在物體時再拍一張圖片。兩幅圖片對比看比例，比列超過閾值則認為回收機內存在著物體。

下面的代碼，展示了在應用層拍完照之后，跟基準圖片進行比對，并返回結果。

extern 'C'JNIEXPORT jboolean JNICALLJava_com_xxx_sdk_utils_DetectUtils_checkPhoneInMTA(JNIEnv *env, jclass jc,jstring baseImgPath,jstring filePath) { jboolean tRet = false; const char *file_path_str = env->GetStringUTFChars(filePath, 0); string path = file_path_str; Mat src = imread(path); const char *base_img_path_str = env->GetStringUTFChars(baseImgPath, 0); string basePath = base_img_path_str; Mat baseImg = imread(basePath); int result = checkPhoneInBox(baseImg,src,40,0.1); LOGI('checkPhoneInBox result = %d',result); if (result == 0) { tRet = true; } return tRet;}

兩張圖片真正的比對是在 checkPhoneInBox() 中完成的。其中，maxFilter() 是為了處理彩色的情況，然后使用高斯濾波進行降噪處理，再進行二值化處理，最后判斷灰度差異區域占總圖像的比列是否超過預先設定的閾值。

int checkPhoneInBox(cv::Mat baseImg, cv::Mat snapImg, int diffThresh, double threshRatio) { cv::Mat baseMaxImg, snapMaxImg,baseGausImg, snapGausImg; if (baseImg.empty()|| snapImg.empty()) { return -1; } try { maxFilter(baseImg, baseMaxImg); maxFilter(snapImg, snapMaxImg); } catch (...) { return -1; } cv::GaussianBlur(baseMaxImg, baseGausImg, cv::Size(5, 5),0); cv::GaussianBlur(snapMaxImg, snapGausImg, cv::Size(5, 5),0); cv::Mat diff,diffBin; cv::Mat noMax; cv::absdiff(baseGausImg, snapGausImg, diff); cv::threshold(diff, diffBin, diffThresh, 255, cv::THRESH_BINARY); float ratio = (float)cv::countNonZero(diffBin) / (long)diffBin.total(); LOGI('ratio = %f,%d,%ld',ratio,cv::countNonZero(diffBin),(long)diffBin.total()); if (ratio > threshRatio) { return 0; } else { return 1; }}int maxFilter(cv::Mat baseImg, cv::Mat &maxImg){ if (baseImg.channels() <3) { maxImg = baseImg.clone(); } else { maxImg.create(baseImg.size(), CV_8UC1); for (int r=0;r<baseImg.rows;r++) { for (int c = 0; c < baseImg.cols; c++) {uchar maxTmp=0;cv::Vec3b s = baseImg.at<cv::Vec3b>(r, c);maxTmp = (std::max)(s[0],s[1]);maxTmp = (std::max)(maxTmp,s[2]);maxImg.at<uchar>(r, c) = maxTmp; } } } return 0;}

對應的 Java 代碼，方便應用層調用 jni 層的 checkPhoneInMTA()

public class DetectUtils { static { System.loadLibrary('detect'); } /** * 判斷MTA中是否有手機 * @param baseImageFilePath 基準的圖片 * @param filePath 拍攝的圖片 * @return */ public static native boolean checkPhoneInMTA(String baseImageFilePath, String filePath); ......}

最后是應用層的調用

val result = DetectUtils.checkPhoneInMTA(Constants.OPENCV_PHOTO_PATH, it.absolutePath)

四. 總結

OpenCV 是一款功能強大的圖像處理庫。但是它本身體積也較大，在移動端使用至少會增加 Android Apk 包 10 M+ 的體積(主要取決于 App 要支持多少個 CPU 架構)。如果很介意的話，可以考慮自行裁剪 OpenCV，然后再進行編譯。我所在的部門隸屬于中臺部門，主要輸出接口和 SDK。在 SDK 中使用 OpenCV 的確會給業務方造成困擾，未來也會考慮如何減少 SDK 的體積，以及把 SDK 做成模塊化。

到此這篇關于OpenCV在Android上的應用示例的文章就介紹到這了,更多相關OpenCV Android應用內容請搜索好吧啦網以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持好吧啦網！