AI模型部署边缘设备的奇妙之旅：如何在边缘端部署OpenCV

1 简介

Opencv（Open Source Computer Vision Library）是一个基于开源发行的跨平台计算机视觉库，它实现了图像处理和计算机视觉方面的很多通用算法，已成为计算机视觉领域最有力的研究工具。在深度学习中，我们会经常接触到两个名称，图像处理和计算机视觉，它们之间有什么区别呢？图像处理 (Image Processing)

目的：图像处理主要集中在改善或转换图像的质量，使得图像更适合人类观察或者为后续的分析做准备。

方法：通常涉及像素级别的操作，比如调整亮度、对比度、颜色校正、滤波（如高斯模糊、中值滤波去噪）、边缘检测、形态学变换（膨胀、腐蚀）等。

计算机视觉 (Computer Vision)

目的：计算机视觉的目标是使计算机能够理解和解释图像或视频的内容，实现类似于人类视觉系统的感知能力。

方法：使用高级算法来解析图像中的内容，包括但不限于特征提取、物体识别、分类、跟踪、场景重建等。这可能涉及到机器学习和深度学习模型的应用。

简而言之，图像处理是计算机视觉的基础，提供了必要的工具和技术来预处理和优化图像数据；而计算机视觉则是在此基础之上，通过更加复杂的算法和模型来解析图像的意义。在实际应用中，这两者往往是紧密结合的，共同作用于解决复杂的问题。例如，在一个自动驾驶系统中，图像处理可能会用于清理传感器输入的数据，而计算机视觉则负责识别道路上的行人、车辆和其他重要元素。

2 基础知识

OpenCV 是一个开源的计算机视觉和机器学习软件库，广泛用于图像处理、视频捕捉、物体检测等领域。一些常用操作及其目的：

读取图片

使用cv2.imread()函数加载图像。

目的：为后续处理和分析准备图像数据。

转换色彩空间

使用cv2.cvtColor()进行色彩空间转换。

目的：适应不同算法的需求，例如灰度图用于简化计算，HSV用于颜色分割等。

滤波

高斯模糊 (cv2.GaussianBlur)、均值滤波 (cv2.blur) 和双边滤波 (cv2.bilateralFilter) 等。

目的：降噪和平滑图像，或在保持边缘的同时模糊细节。

绘制图形

使用cv2.line()、cv2.rectangle()、cv2.circle()和cv2.polylines()来绘制直线、矩形、圆形或多边形。

目的：可视化结果，标注图像中的特征或者创建掩码。

边缘检测

Canny 边缘检测 (cv2.Canny) 或 Sobel 操作符 (cv2.Sobel)。

目的：检测图像中物体的边界，是很多高级计算机视觉任务的基础步骤。

阈值操作

cv2.threshold()用于二值化图像。

目的：突出显示感兴趣区域，简化图像以利于进一步分析。

Sobel 滤波

使用cv2.Sobel()计算图像梯度。

目的：增强边缘，通常与边缘检测相关联。

文件保存

cv2.imwrite()将图像保存到磁盘。

目的：保存处理后的图像以便将来使用或分享。

此外，还有其他重要的OpenCV功能，如：

直方图均衡化(cv2.equalizeHist) 提升图像对比度。

模板匹配(cv2.matchTemplate) 用于查找一个图像中的另一个小图像的位置。

特征点检测和描述子计算，如 SIFT, SURF, ORB 等，用于图像配准、拼接等任务。

这些基础操作和高级特性共同构成了强大的工具集，可以用来开发从简单的图像编辑应用到复杂的计算机视觉系统。 这些操作是构建复杂图像处理流水线的基础，可以单独使用，也可以组合起来解决更复杂的视觉问题。例如，预处理阶段可能会包括去噪、边缘检测和形态学操作；而在后处理阶段，则可能会涉及阈值操作和绘制几何图形来标注或解释结果。以上这些算子仅仅是OpenCV库的一小部分的内容，但是它们是支持我们进行复杂操作的基础。

3 实际操作

在学习OpenCV的初期，可能会觉得每个算子或函数就像是独立的知识点，虽然能够理解它们各自的功能和用法，但当面对实际问题时，却难以将这些知识点有效地组合起来解决问题。这是因为从理论到实践的应用需要一个过渡的过程，在这个过程中，不仅需要掌握单个算子的操作，还需要学会如何根据具体的需求选择合适的算子，并且合理地调整参数以达到预期的效果。OpenCV的强大之处在于它提供了丰富的图像处理功能，但这也意味着使用它的难点在于：

理解和记忆大量的算子：OpenCV库中包含了大量的算子，每个算子都有其特定的应用场景和参数设置。对于初学者来说，理解和记住这么多的内容可能是一个挑战。

算子之间的组合应用：很多情况下，单独使用一个算子并不能完成复杂的任务，而是需要多个算子相互配合。这就要求学习者不仅要了解各个算子的工作原理，还要懂得如何将它们有机地结合起来，以实现更复杂的功能。

参数调优：每个算子通常都带有一系列可调节的参数，这些参数的选择直接影响到最终的结果。找到一组最优化的参数值往往需要通过不断的实验和尝试，这既考验耐心也考验经验。

解决实际问题的能力：将理论知识应用于实践，解决真实世界中的问题是学习任何技术的关键。对于OpenCV而言，这意味着要能够分析给定的任务需求，确定所需的操作步骤，并正确地执行这些步骤。为了克服上述困难，建议多做练习，特别是针对不同类型的图像处理任务进行实战演练。同时，可以参考官方文档、在线教程以及社区讨论来加深对算子的理解，学习他人是如何解决问题的。此外，不断积累经验和案例研究也会有助于提高解决新问题的能力。

本文章主要讲述如何在边缘端设备上使用OpenCV。本次使用的边缘端设备是凌智电子开发的凌智视觉模块，具体如下：

如对该边缘端设备感兴趣，可到Gitee仓库：凌智视觉模块查看该设备的具体信息。

接下来我们通过几个例子来介绍如何在边缘端设备使用OpenCV进行形状检测。

3.1 矩形检测

import lockzhiner_vision_module.cv2 as cv2from lockzhiner_vision_module.edit import Editimport timeimport sysif __name__ == "__main__":    args = sys.argv    if len(args) != 3:        print("Need model path. Example: python test_capture.py width height")        exit(1)    edit = Edit()    edit.start_and_accept_connection()    video_capture = cv2.VideoCapture()    video_capture.set_width(int(args[1]))    video_capture.set_height(int(args[2]))    if video_capture.open(0) is False:        print("Failed to open capture")        exit(1)    while True:        read_index = 0        total_time_ms = 0        for i in range(30):            start_time = time.time()            ret, mat = video_capture.read()            if ret is False:                continue            end_time = time.time()            # 转换为灰度图像            gray = cv2.cvtColor(mat, cv2.COLOR_BGR2GRAY)            # 高斯模糊            blurred = cv2.GaussianBlur(gray, (5, 5), 0)            # 二值化            _, binary = cv2.threshold(blurred, 127, 255, cv2.THRESH_BINARY_INV)            edges = cv2.Canny(binary, 30, 200)            contours, _ = cv2.findContours(edges.copy(), cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)            for contour in contours:                # 近似轮廓                # 计算轮廓周长                epsilon = 0.02 * cv2.arcLength(contour, True)                # 将轮廓近似为多边形                if epsilon < 15:                    continue                approx = cv2.approxPolyDP(contour, epsilon, True)                # 如果近似轮廓有4个顶点，则认为是矩形                if len(approx) == 4:                    cv2.putText(mat, "Rectangle", (50,50), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 2)                    cv2.drawContours(mat, [approx], -1, (0, 255, 0), 2)            edit.print(mat)            total_time_ms += end_time - start_time            read_index += 1        print(f"FPS is {1.0 / (total_time_ms / read_index)}")

在这一段代码中的检测效果如下图所示

但是当我们只想要外部的矩形时，我们可以怎么做呢?

contours, _ = cv2.findContours(edges.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

效果如上图所示，接下来我们就得深究一下cv2.findContours mode 参数 和 method 参数的区别及作用了，我就不一一演示了，大家伙可以自行实验，毕竟我也踩过。mode: 轮廓检索模式，定义了如何检索轮廓及其层次结构。有以下几种选择：

cv2.RETR_EXTERNAL: 只检索最外层的轮廓。

cv2.RETR_LIST: 检索所有的轮廓，但不建立它们之间的等级关系。

cv2.RETR_CCOMP: 检索所有的轮廓，并将它们组织为两级层次结构：顶层是外部边界，次级是孔洞。

cv2.RETR_TREE: 检索所有轮廓，并重建完整的包含关系。

method: 轮廓近似方法，决定了轮廓的精度。有以下几种选择：

cv2.CHAIN_APPROX_NONE: 存储所有的轮廓点，即没有近似。

cv2.CHAIN_APPROX_SIMPLE: 压缩水平、垂直和对角方向上的元素，只保留端点。

cv2.CHAIN_APPROX_TC89_L1: 使用一种称为 Teh-Chin 链逼近算法的更复杂的压缩方式。

cv2.CHAIN_APPROX_TC89_KCOS: 同样使用 Teh-Chin 链逼近算法，但与 L1 不同，它是基于 KCOS 的。

3.2 圆形检测

OpenCV 提供了HoughCircles函数来检测圆形。Hough变换是一种用于从图像中提取几何形状（如直线、圆等）的技术，它通过参数空间的投票机制来实现。对于圆形检测，Hough变换可以识别出满足特定条件的圆形结构。下面是使用 OpenCV 进行圆形检测的基本步骤：

首先加载需要检测圆的图像，并将其转换为灰度图，因为颜色信息对于圆形检测不是必要的。调用cv2.HoughCircles函数进行圆形检测。该函数接受几个重要参数：

method：定义了检测方法，通常使用cv2.HOUGH_GRADIENT。

dp：累加器分辨率与图像分辨率的反比。dp=1 表示累加器具有与输入图像相同的分辨率。

minDist：检测到的圆心之间的最小距离。如果设置得太小，可能会检测到多个相邻的圆；如果太大，可能会漏检一些圆。

param1：Canny边缘检测的高阈值，低阈值是高阈值的一半。

param2：累加器阈值。该阈值越小，检测到的圆越多（包括不完美的圆）。越大则只检测到更明显的圆。

minRadius和maxRadius：分别为检测到的圆的最小和最大半径。

请注意，上述参数 (dp,minDist,param1,param2,minRadius,maxRadius) 需要根据具体应用场景调整，以获得最佳检测效果。例如，不同的光照条件、背景复杂度或者目标圆的大小都会影响这些参数的选择。实例代码

from lockzhiner_vision_module.cv2 import VideoCaptureimport lockzhiner_vision_module.cv2 as cv2from lockzhiner_vision_module.edit import Editimport timeimport syspi = 3.14159265358979323846if __name__ == "__main__":    args = sys.argv    if len(args) != 3:        print("Need model path. Example: python test_capture.py width height")        exit(1)    edit = Edit()    edit.start_and_accept_connection()    video_capture = VideoCapture()    video_capture.set_width(int(args[1]))    video_capture.set_height(int(args[2]))    if video_capture.open(0) is False:        print("Failed to open capture")        exit(1)    while True:        read_index = 0        total_time_ms = 0        for i in range(30):            start_time = time.time()            ret, mat = video_capture.read()            if ret is False:                continue            end_time = time.time()            # 转换为灰度图像            # 转换为灰度图像            gray = cv2.cvtColor(mat, cv2.COLOR_BGR2GRAY)            # 使用高斯模糊减少噪声            blurred = cv2.GaussianBlur(gray, (9, 9), 2)            # 使用 HoughCircles 检测圆形            circles = cv2.HoughCircles(blurred, cv2.HOUGH_GRADIENT, dp=1, minDist=50,                                       param1=50, param2=30, minRadius=120, maxRadius=250)            # print(circles)            if circles is not None:                # 在图像上绘制检测到的圆                for i in circles[0]:                    center = (int(i[0]), int(i[1]))                    radius = int(i[2])                    cv2.putText(mat, "circle", (50, 50), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 2)                    # 绘制圆心                    cv2.circle(mat, center, 1, (0, 100, 100), 3)                    # 绘制圆                    cv2.circle(mat, center, radius, (0, 255, 0), 3)            edit.print(mat)            total_time_ms += end_time - start_time            read_index += 1        print(f"FPS is {1.0 / (total_time_ms/read_index)}")

检测效果图 ：