OpenCV 4基础篇| OpenCV简介

游戏开发小Y

发布于 2024-02-18 08:50:21

2340

发布于 2024-02-18 08:50:21

文章被收录于专栏：Unity开发系列专栏Unity开发系列专栏

1. 什么是OpenCV

OpenCV（Open Source Computer Vision Library）是一个开源的计算机视觉和机器学习软件库。它由英特尔公司发起并参与开发，以BSD许可证授权发行，可以在商业和研究领域中免费使用。OpenCV提供了大量的计算机视觉、图像处理和模式识别的算法，包括实时图像处理、视频分析、特征检测、目标跟踪、人脸识别、物体识别、图像分割、光流法、立体视觉、运动估计、机器学习和深度学习等。
OpenCV是一个跨平台的库，支持多种操作系统，包括Linux、Windows、Android、Mac OS和iOS等。它使用C++编写，同时也提供了Python、Java、MATLAB等语言的接口，方便不同编程语言的开发者使用。由于OpenCV的开源性和跨平台性，它已经成为计算机视觉领域最受欢迎的库之一，广泛应用于工业检测、医学影像处理、智能交通系统、安防监控系统、机器人视觉、游戏开发等领域。
OpenCV的设计初衷是实现计算机视觉的自动化，帮助计算机去理解我们的世界，以便自动完成一些基本的任务。它提供了一系列的算法和工具，使得开发者可以更加便捷地实现各种计算机视觉应用。同时，OpenCV也支持多种硬件加速技术，如Intel的IPP和GPU加速，使得计算机视觉应用的性能得到了极大的提升。
网站一览：
- OpenCV官方网址：https://opencv.org/
- OpenCV Github 主页：https://github.com/opencv/opencv
- OpenCV Wiki 主页：http://code.opencv.org/

2. OpenCV的发展历程

1999年，OpenCV由英特尔公司研究员Gary Bradski在计算机视觉库Intel Image Processing Library（IPL）的基础上发起并创建。IPL是一个商业软件库，主要用于实时图像处理。OpenCV作为IPL的替代品，以开源的形式发布，并提供了与IPL兼容的接口。
2000年，OpenCV的第一个开源版本OpenCV alpha 3发布，并在同年12月发布了针对Linux平台的OpenCV beta 1版本。
2006年，OpenCV 1.0版本正式发布，支持Windows和Mac OS操作系统，并提供了基础的图像处理和机器学习算法。此后，OpenCV不断迭代更新，发布了多个版本，并逐渐增加了对新的操作系统、编程语言和硬件加速的支持。
2009年，OpenCV 2.0版本发布，开始使用C++作为主要编程语言，并提供了更加丰富的计算机视觉算法和函数库。同时，为了保持与旧版本的兼容性，OpenCV 2.x仍然保留了C语言的接口。
2014年，OpenCV 3.0版本发布，标志着OpenCV进入了一个新的里程碑。OpenCV 3.x版本在保留了2.x版本的基础上，增加了对新的计算机视觉算法和深度学习框架的支持，并提供了更加高效的硬件加速功能。
2018年，OpenCV 4.0版本发布，继续加强了对深度学习和计算机视觉领域的支持，并引入了更多的新特性和优化。

3. 为什么用OpenCV

功能强大：OpenCV提供了丰富的图像处理和计算机视觉算法，包括图像滤波、边缘检测、特征检测、目标跟踪、物体识别、摄像头标定等。这使得开发者能够轻松应对各种复杂的计算机视觉任务。
跨平台：OpenCV支持多种操作系统，如Linux、Windows、Android、Mac OS和iOS等，使得开发者可以在不同的平台上开发和部署计算机视觉应用。
开源性：OpenCV是一个开源库，可以免费获取和使用。这为开发者提供了一个自由、开放的平台，可以自由地学习和探索计算机视觉技术。
易于学习：OpenCV提供了大量的示例代码和案例，帮助开发者快速上手并解决实际问题。此外，OpenCV的接口清晰、文档完善，使得开发者可以更加高效地使用它。
社区支持：OpenCV拥有一个庞大的用户社区，提供了丰富的资源和技术支持。开发者可以在社区中交流经验、解决问题，并获取最新的技术动态和更新。

4. OpenCV应用领域

计算机视觉：OpenCV在计算机视觉领域有广泛的应用，包括目标检测、图像分类、人脸识别、姿态估计、运动估计、光流估计等。
视频分析：OpenCV可用于视频分析任务，如视频跟踪、行为识别、动作识别等。
医学影像处理：OpenCV在医学影像处理方面也有应用，如医学图像分割、医学图像配准、医学图像增强等。
智能交通系统：OpenCV可用于智能交通系统，如车辆检测、车牌识别和行人跟踪等。
安防监控系统：OpenCV在安防监控系统中有着重要应用，如行为识别、目标追踪和异常检测等。
机器人视觉：OpenCV可用于机器人视觉领域，如障碍物检测、地标识别和自主导航等。
游戏开发：OpenCV也可以用于游戏开发，如虚拟现实、增强现实等。
工业检测：OpenCV在工业检测中也有应用，如缺陷检测、产品分类、机器视觉等。
其它：OpenCV还提供了各种图像处理和滤波函数，如图像平滑、边缘检测、图像增强等，可以应用于图像编辑、图像恢复等领域。同时，OpenCV还支持深度学习框架，可以实现图像分类、目标检测等任务，可以应用于人工智能、自动驾驶等领域。

5. OpenCV的功能模块

5.1 基本模块

模块	说明
calib3d	相机标定相关
core	核心功能模块，主要包含opencv库的基础结构和基本操作。
dnn	深度学习模块
features2d	二维特征检测点检测、描述、匹配等
flann	最近邻匹配、聚类等。
gapi	该模块对图像处理算法做了加速处理
highgui	图像显示、按钮、鼠标等操作。
imgcodecs	负责图像文件读写，如图像读取与保存
imgproc	图像处理函数
ml	机器学习相关算法
objdetect	目标检测，包括Cascade face detector; latent SVM; HOG等
photo	用于计算摄影处理和恢复照片的算法
stitching	图像拼接，利用图像特征点进行图像拼接
video	视频处理，包括背景分割、视频跟踪等
videoio	负责视频文件的读取和写入

5.2 扩展模块

模块	说明
aruco	ArUco和ChArUco标记。包括增强现实的ArUco标记和ChArUco标记
bgsegm	背景分割。改进的自适应背景混合模型，用于在不同照明条件下实时人体跟踪。
ccalib	自定义校准。用于3D重建、全景相机校准、随机模式校准和多摄像头校准的模式。
cnn_3dobj	深度物体识别与姿态。使用Caffe深度神经网络库构建、训练和测试视觉物体识别和姿态的CNN模型。
cuda	利用GPU处理图像的模块，包括下面部分：
cudaarithm	在CUDA架构上执行数学计算的库
cudabgsegm	在CUDA架构上进行背景分割
cudacodec	在CUDA架构上进行编码解码
cudafeatures2d	在CUDA架构上进行特征检测
cudafilters	在CUDA架构上进行图像滤波
cudaimgproc	在CUDA架构上进行图像处理
cudalegacy	在CUDA架构上进行的传统处理支持
cudaobjdetect	在CUDA架构上进行目标检测
cudaoptflow	在CUDA架构上进行光流计算
cudastereo：	基于CUDA技术的用于立体视觉任务的模块，它可以加速立体视觉算法的计算过程，提高处理速度和效率
cudawarping	利用NVIDIA的CUDA技术来进行图像畸变校正和图像重投影的计算，以实现更高效的处理速度和更好的性能
cudev	为OpenCV中的某些功能提供了CUDA实现，以加速这些操作。它可以与其他OpenCV模块配合使用，以利用GPU的并行计算能力来提高图像处理和计算的速度。
cvv	调试器, 弹出一个图形用户界面(GUI)，能够交互式地进行视觉调试计算机视觉程序
datasets	用于读取现有的计算机视觉数据库的代码，并且展示如何使用这些读取器来进行数据集的训练、测试和运行的示例。
dnn_objdetect	用于对象检测和识别的深度学习模块
dnns_easily_fooled	一种能够欺骗深度神经网络（DNNs）的代码或技术。这种方法利用网络中的激活值来欺骗网络，使其识别错误的目标或将某个目标识别为另一个目标。
dpm:	一种用于目标识别的算法，它基于 Felzenszwalb 的级联检测器（cascade detector）并添加了可变形对象检测和识别
face	人脸识别,包括特征脸（Eigen）、Fisher和局部二值模式直方图（LBPH）方法。
freetype	用于在图像上绘制文本的功能模块。它提供了一些函数和类，可用于在图像中添加文字，包括选择字体、设置字体大小、指定颜色、位置和对齐方式等。
fuzzy	模糊数学的图像处理
hdf:	分层数据存储。该模块包含用于分层数据格式的输入/输出（I/O）例程，旨在存储大量数据。
hfs	层次特征选择,一种用于特征选择和降维的算法，可应用于计算机视觉和模式识别任务中
img_hash	哈希算法来计算图像的哈希值，用来比较两个图像的相似性
line_descriptor	用于线段提取和匹配的功能模块。提供了从图像中提取、描述和匹配线段的方法，使用二进制描述符来表示线段
matlab	MATLAB接口
optflow	光流算法。用于运行和评估deepflow、simpleflow、sparsetodenseflow和motion templates（轮廓光流）的算法。
ovis:	用于渲染、可视化和交互式操作的工具包。它是基于OpenGL的一个功能模块，用于创建和展示3D场景、模型和虚拟现实（VR）环境
phase_unwrapping	一个用于相位展开的功能模块
plot	允许在一维或二维中绘制数据。
reg:	图像配准。基于像素的图像配准，用于精确对齐
rgbd	RGB深度处理模块。Linemod三维物体识别。
saliency	显著性API。用于确定人眼在场景中的关注点。具有静态、运动和“物体性”显著性的计算例程。
sfm	该模块包含从2D图像进行三维重建的算法。该模块的核心是Libmv的轻量级版本
shape	提供了一些形状相关的功能和操作
stereo	立体匹配。使用不同描述符进行的立体匹配：Census、CS-Census、MCT、BRIEF 和 MV。
structured_light	生成结构光模式，投影结构光，解码结构光图像，三维重建等
superres	超分辨率图像处理技术，旨在通过使用算法和图像处理方法将低分辨率图像恢复到高分辨率的过程
surface_matching	用于三维物体检测和定位的功能
text	视觉文本匹配，在一个视觉场景中检测文字，切分单词，并识别文字
tracking	基于视觉的物体跟踪
videostab	视频稳定功能。用于减少由于相机抖动或运动导致的视频剧烈晃动或抖动。
viz	提供了三维可视化功能。该模块允许在应用程序中创建、渲染和交互式显示三维场景和对象。
xfeatures2d	特征检测与描述符的扩展功能，包含了一些实验性的和付费的专利特征检测器/描述符算法
ximgproc	扩展图像处理。包括结构化森林、域变换滤波器、引导滤波器、自适应流形滤波器、联合双边滤波器和超像素等算法。
xobjdetect	增强的2D对象检测。使用Waldboost级联和计算作为积分特征的局部二值模式，用于2D对象检测。
xphoto	扩展的计算摄影。提供额外的照片处理算法：色彩平衡、降噪和修复处理等功能。