作为一个视觉SLAM的入门学徒，高翔的书我看了一遍，视频也跟了一遍，代码在自己的电脑上也跑过，但总觉得跟啥都没学没有太大区别。
本篇开始，将进入图像配准领域的研究。 图像拼接主要有SIFT, BRISK, ORB, AKAZE等传统机器学习算法以及SuperPoint等深度学习算法，在后续将一一进行研究和实验。本篇主要来研究SIFT算法的原理和应用。
本文出现的数据结果和码源见：https://download.csdn.net/download/sinat_39620217/18269470
四叉树索引的基本思想是将地理空间递归划分为不同层次的树结构。它将已知范围的空间等分成四个相等的子空间，如此递归下去，直至树的层次达到一定深度或者满足某种要求后停止分割。
链接 | https://zhuanlan.zhihu.com/p/133301967
大家好我是小绿，给自己起了英文名叫gREEN，为了方便大家记住我已经把它写在车牌上了。这里感谢福特公司，个人很喜欢猛禽，于是改了张图以后就作为小绿的封面了。
视觉里程计主要是通过图像对运动进行估计。一副中等分辨率的图像就是一个维度巨大的矩阵，我们无法对矩阵直接进行估计，其面临的将是海量的计算，因此我们有必要对图像进行特征提取。特征就是图像中比较特别的地方，例如：角点、边缘等等，并且这些角点在相机运动及不同光照下应该保持稳定。
滤波是信号和图像处理的基本任务之一。 它是一个过程，旨在有选择地提取图像的某些方面，这些方面被认为在给定应用的上下文中传达了重要信息。 过滤可以消除图像中的噪点，提取有趣的视觉特征，允许图像重采样等。 它起源于一般的信号和系统理论。 在此我们将不详细介绍该理论。 但是，本章将介绍一些与过滤有关的重要概念，并说明如何在图像处理应用中使用过滤器。 但首先，让我们先简要介绍一下频域分析的概念。
这期我们来继续读一下半稠密直接法求解位姿的程序direct_semidense.cpp。
1.FAST（featuresfrom accelerated segment test）算法
它始终以未经处理的原始图像开始，这些图像是使用智能手机，网络摄像头，DSLR 相机，或者简而言之，是能够拍摄和记录图像数据的任何设备拍摄的。 但是，通常以清晰或模糊结束。 明亮，黑暗或平衡； 黑白或彩色； 以及同一图像数据的许多其他不同表示形式。 这可能是计算机视觉算法中的第一步（也是最重要的步骤之一），通常被称为图像处理（目前，让我们忘记一个事实，有时计算机视觉和图像处理可互换使用；这是历史专家的讨论。 当然，您可以在任何计算机视觉过程的中间或最后阶段进行图像处理，但是通常，用大多数现有设备记录的任何照片或视频首先都要经过某种图像处理算法。 这些算法中的某些仅用于转换图像格式，某些用于调整颜色，消除噪点，还有很多我们无法开始命名。 OpenCV 框架提供了大量功能来处理各种图像处理任务，例如图像过滤，几何变换，绘图，处理不同的色彩空间，图像直方图等，这将是本章的重点。
在滤波、变换、缩放等任务中，图像分割具有重要的意义。图像分割是将不同的对象划分为不同的部分，并将这些区域以明显的颜色或者记号标记出来。图像分割是使用轮廓、边界框等概念进行其他高级计算机视觉任务（例如对象分类和对象检测）的基础。良好的图像分割为我们后续的图像分类以及检测奠定了基础。
如果一个点在两个正交方向上都有明显的导数，则我们认为此点更倾向于是独一无二的，所以许多可跟踪的特征点都是角点。
https://github.com/electech6/ORB_SLAM2_detailed_comments
在前面几期中，小绿简单的解读了第七讲的几个程序，运行这些程序或调用这些程序包装成的函数可以实现：
OpenCV中ORB特征提取与匹配 FAST特征点定位 ORB - (Oriented Fast and Rotated BRIEF)算法是基于FAST特征检测与BRIEF特征描述子匹配实现，相比BR
图像识别、人脸识别可行的算法有很多。但是作为学习，如果能理清这个问题研究的历程及其主线，会对你深入理解当前研究最新的发展有很多帮助。本文是自己在学习过程中的笔记，大多内容来自于网络，出处请参考最后的引文部分。 Sift算法 Sift算法是David Lowe于1999年提出的局部特征描述子，并于2004年进行了更深入的发展和完善。Sift特征匹配算法可以处理两幅图像之间发生平移、旋转、仿射变换情况下的匹配问题，具有很强的匹配能力。总体来说，Sift算子具有以下特性： Sift特征是图像的局部特征，对平移
例如顾客统计，使用一个静态摄像头来记录进入和离开房间的人数；或者是交通摄像头，需要提取交通工具的信息等。
翻译自https://www.pyimagesearch.com 基于OpenCV（Python）的图片拼接和全景图构建。“缝合”两张有重叠区域的图来创建一张全景图。构建全景图利用到了计算机视觉和图像处理技术有：关键点检测、局部不变特征、关键点匹配、RANSAC(Random Sample Consensus，随机采样一致性)和透视变形。因为在处理关键点检测和局部不变性在OpenCV 2.4.X和OpenCV 3.X中有很大的不同，比如SIFT和SURF。这里将给出兼容两个版本的代码。在之后的博客会解决多张图片的拼接，而不仅仅只是针对两张图片。
图像的全景拼接，即“缝合”两张具有重叠区域的图来创建一张全景图。其中用到了计算机视觉和图像处理技术有：关键点特征检测、局部不变特征、关键特征点匹配、RANSAC(Random Sample Consensus，随机采样一致性)和透视变形。
1.ORBexteractor 中如何实现均匀化提取特特征点，与OpenCV中的 orb有什么区别？
上回咱们读完了pose_estimation_2d2d.cpp这个文件，基本上明白了通过对极几何计算相机位姿变换的过程，简单地说就是：你给我两帧图像，我给你算个R、t。
Instance Segmentation —— 正确的检测图片中的所有 objects，并精确地分割每一个 instance.
如今，计算机视觉（CV）已成为人工智能的主要应用之一（例如，图像识别，对象跟踪，多标签分类）。在本文中，我们将了解构成计算机视觉系统的一些主要步骤。
OpenCV 是一个图像和视频处理库，具有 C++、C、Python 和 Java 中的绑定。OpenCV用于各种图像和视频分析，如面部识别和检测，车牌读取，照片编辑，高级机器人视觉，光学字符识别等等。
之前在3D检测方面的文章层出不穷，也是各个公司无人驾驶或者机器人学部门关注的重点，包含了点云，点云图像融合，以及单目3D检测，但是在双目视觉方面的贡献还是比较少，自从3DOP之后。总体来说，图像的检测距离，图像的density以及context信息，在3D检测中是不可或缺的一部分，因此作者在这篇文章中挖掘了双目视觉做3D检测的的潜力。
#ORB算法推导 ORB采用FAST （features from accelerated segment test） 算法来检测特征点。FAST核心思想就是找出那些卓尔不群的点，即拿一个点跟它周围的点比较，如果它和其中大部分的点都不一样就可以认为它是一个特征点。 首先来做几个定义： U : 参考像素点周围的区域阈值 t : 与参考像素点作对比的阈值点的灰度值当参考点的灰度值之差的绝对值大于t时，我们认为这两个点不相同 Gp : 像素点的灰度值 u : 区域阈值内不同的像素点数量 Un : 区域阈
PSNR（Peak Signal to Noise Ratio），一种全参考的图像质量评价指标。
在计算机视觉和图像处理领域，图像数据类型和颜色空间转换是非常重要的概念。Python 提供了强大的库和工具，用于读取、操作和转换图像数据。本文将深入探讨Python中的图像数据类型，以及如何进行常见的颜色空间转换。
Ethan Rublee and Vincent Rabaud and Kurt Konolige and Gary Bradski, ORB: an efcient alternative to SIFT or SURF, ICCV 2011
目录 什么是ORB 如何解决旋转不变性 如何解决对噪声敏感的问题 关于尺度不变性 关于计算速度 关于性能 Related posts 什么是ORB ORB是是ORiented Brief的简称。ORB
在第2篇中提到过，如果是二值图片（黑白图）或者灰度图片，一个像素需要一个8位二进制来表示。而对于彩色图像，一个像素则需要用3个8位二进制来表示。我们认为灰度图只有一个图层，而普通的彩色图像则有三个图层。
本章将向您展示如何为 Android 智能手机和平板电脑编写一些图像处理过滤器，该过滤器首先针对台式机（使用 C/C++）编写，然后移植到 Android（使用相同的 C/C++ 代码，但使用 Java GUI）， 这是为移动设备开发时的推荐方案。 本章将涵盖：
OpenCV中除了常见腐蚀、膨胀、开闭操作之外，还有个非常有用的形态学操作，就是击中击不中。击中击不中也是基础形态学操作组合，它可以实现对象的细化跟剪枝操作。形态学操作都是基于各种形状的结构元素，基于输入图像，跟结构元素操作得到输出图像，击中击不中操作是在二值图像的模式匹配跟发现上非常有用，它是基于两个结构元素分别是B1跟B2、第一个结构元素B1在图像上完成腐蚀操作、然后第二个结构元素B2在图像完成腐蚀操作，然后合并最终输出得到。详解步骤如下：
在现实世界中，角点对应于物体的拐角，道路的十字路口、丁字路口等。从图像分析的角度来定义角点可以有以下两种定义：
在图像处理和计算机视觉领域，颜色空间转换是一项重要的任务。不同的颜色空间具有不同的表示方式，可以用于不同的图像处理和分析任务。 OpenCV 提供了丰富的功能来进行颜色空间的转换和处理。本文将以颜色空间转换为中心，为你介绍使用 OpenCV 进行颜色空间转换的基本步骤和实例。
不管原图尺度是多少，在包含了所有尺度的尺度空间下都能找到那些稳定的极值点，这样就做到了尺度不变！
直接比较图像内容的 md5 值肯定是不行的，md5 的方式只能判断像素级别完全一致。图像的基本单元是像素，如果两张图像完全相同，那么图像内容的 md5 值一定相同，然而一旦小部分像素发生变化，比如经过缩放、水印、噪声等处理，那么它们的 md5 值就会天差地别。
sift是目前常用的local feature的描述子。sift特征匹配算法可以处理两幅图像之间发生一些平移、旋转、仿射等匹配问题。因为早前自己要做一个图像拼接的问题，所以用到了sift。写这篇blog，是因为自己准备向CV进军，开始着手写blog来积累知识，这也是我第一篇blog，虽然这篇blog很简陋，纯属向sift致敬，但也方便一些初学者使用吧。以后也会不定期对自己的一些在CV的见解进行发表，希望能通过这个和大家相互讨论。如果您想对其原理有个透彻的理解，可以参考下面这篇blog，博主写的非常详尽 —— [ sift算法详解 ]
它是由Michael J. Swain和Dana H. Ballard在他们的论文中提出的，通过颜色直方图进行索引。
Surf算法的原理
摄像头测距就是计算照片中的目标物体到相机的距离。可以使用相似三角形（triangle similarity）方法实现，或者使用更复杂但更准确的相机模型的内参来实现这个功能。
在本章中，我们将学习有关内容感知的图像大小调整，这也称为接缝雕刻。 我们将讨论如何检测图像中有趣的部分，以及如何使用该信息调整给定图像的大小而不会降低这些有趣元素的质量。
将像素值变小，图像亮度减小，色彩变暗；像素值增大，图像亮度增大，色彩变亮。 代码如下：
来自中东科技大学在ECCV2018会议上已录用的文章“MultiPoseNet: Fast Multi-Person Pose Estimation using Pose Residual Network”，使用姿态残差网络Pose Residual Network (PRN)进行快速多人姿态估计。
SIFT特征不只具有尺度不变性，即使改变图像的旋转角度，亮度或拍摄视角，仍然能够得到好的检测效果。
多模态机器学习，英文全称 MultiModal Machine Learning (MMML)，旨在通过机器学习的方法实现处理和理解多源模态信息的能力。目前比较热门的研究方向是图像、视频、音频、语义之间的多模态学习。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
