真实物体完整形状的数字化在智能制造、工业检测和反向建模等领域具有重要的应用价值。为了构建刚性对象的完整几何模型，对象必须相对于测量系统（或扫描仪必须相对于对象移动），以获取和集成对象的视图，这不仅使系统配置复杂，而且使整个过程耗时。在这封信中，我们提出了一种高分辨率的实时360°三维(3D)模型重建方法，该方法允许人们手动旋转一个物体，并在扫描过程中看到一个不断更新的三维模型。多视图条纹投影轮廓测量系统从不同的角度获取一个手持物体的高精度深度信息，同时将多个视图实时对齐并合并在一起。我们的系统采用了立体相位展开和自适应深度约束，可以在不增加捕获图案的数量的情况下，稳健地展开密集条纹图像的相位。然后，我们开发了一种有效的从粗到细的配准策略来快速匹配三维表面段。实验结果表明，该方法可以在任意旋转条件下重建复杂物体的高精度完整三维模型，而无需任何仪器辅助和昂贵的预/后处理。
本文介绍的是另一种比较好的配准算法，NDT配准。所谓NDT就是正态分布变换，作用与ICP一样用来估计两个点云之间的刚体变换。用标准最优化技术来确定两个点云间的最优的匹配，因为其在配准过程中不利用对应点的特征计算和匹配，所以时间比其他方法快。
摘要：以多视图点云配准为研究对象，对近二十余年的多视图点云配准相关研究工作进行了全面的分类归纳及总结。首先，阐述点云数据及多视图点云配准的概念。根据配准的任务不同，将多视图点云配准分为多视图点云粗配准和多视图点云精配准两大类，并对其各自算法的核心思想及算法改进进行介绍，其中，多视图点云粗配准算法进一步分为基于生成树和基于形状生成两类；多视图点云精配准算法进一步分为基于点云的点空间、基于点云的帧空间变换平均、基于深度学习和基于优化四类。然后，介绍了四种多视图点云配准数据集及主流多视图配准评价指标。最后，对该研究领域研究现状进行总结，指出存在的挑战，并给出了未来研究展望。
本文提出了一种快速鲁棒的点云配准算法，对存在离群噪声点的点云数据具有较好的配准效果。首先使用了截断最小二乘（Truncated Least Squares TLS）代价函数重新构造配准问题 ，该代价是的估计点对时能够对大部分的不正确的对应点不加入计算，然后使用了一个通用的图论框架来分离尺度，旋转和平移，从而允许对这三个变换矩阵进行级联求解，尽管这三个矩阵在本质上仍然是非凸的组合函数，但是论文中：
ICP点云配准就是我们非常熟悉的点云处理算法之一。实际上点云数据在形状检测和分类、立体视觉、运动恢复结构、多视图重建中都有广泛的使用。点云的存储、压缩、渲染等问题也是研究的热点。随着点云采集设备的普及、双目立体视觉技术、VR和AR的发展，点云数据处理技术正成为最有前景的技术之一。PCL是三维点云数据处理领域必备的工具和基本技能，这篇文章也将粗略介绍。
编者按：目前，深度学习正广泛应用于医学图像配准领域。无监督机器学习方法能够广泛利用临床中产生的大量原始、无标注医学图像，然而现有算法对于变形大、变化复杂的图像配准的学习效果较差。微软亚洲研究院在 ICCV 2019 发表的论文中，提出一种深度递归级联的神经网络结构，可以显著提高无监督配准算法的准确率。
（1）图像配准(Image registration)是将同一场景拍摄的不同图像进行对齐的技术，即找到图像之间的点对点映射关系，或者对某种感兴趣的特征建立关联。
将多个数据集合并成一个全局一致的模型通常使用一种称为"配准"的技术来完成。其关键思想是识别数据集之间的对应点，并找到一个最小化对应点之间距离的变换关系。由于对应点的查找受到数据集的相对位置和方向的影响，因此需要重复这个过程。一旦最小化误差降到给定的阈值以下，就可以说完成了配准。pcl_registration库实现了众多点云配准算法，适用于有序和无序点云的数据集。
医学图像处理的对象是各种不同成像机理的医学影像，临床广泛使用的医学成像种类主要有X-射线成像 （X-CT）、核磁共振成像（MRI）、核医学成像（NMI）、超声波成像（UI）四类。在目前的影像医疗诊断中，主要是通过观察一组二维切片图象去发现病变体，这往往需要借助医生的经验来判定。利用计算机图像处理技术对二维切片图象进行分析和处理，实现对人体器官、软组织和病变体的分割提取、三维重建和三维显示，可以辅助医生对病变体及其它感兴趣的区域进行定性甚至定量的分析，从而大大提高医疗诊断的准确性和可靠性；在医疗教学、手术规划、手术仿真及各种医学研究中也能起重要的辅助作用[1,2]。目前，医学图像处理主要集中表现在病变检测、图像分割、图像配准及图像融合四个方面。
医学图像处理的对象是各种不同成像机理的医学影像，临床广泛使用的医学成像种类主要有X-射线成像 （X-CT）、核磁共振成像（MRI）、核医学成像（NMI）和超声波成像（UI）四类。在目前的影像医疗诊断中，主要是通过观察一组二维切片图象去发现病变体，这往往需要借助医生的经验来判定。利用计算机图象处理技术对二维切片图象进行分析和处理，实现对人体器官、软组织和病变体的分割提取、三维重建和三维显示，可以辅助医生对病变体及其它感兴趣的区域进行定性甚至 定量的分析，从而大大提高医疗诊断的准确性和可靠性；在医疗教学、手术规划、手术仿真及各种医学研究中也能起重要的辅助作用[1,2]。目前，医学图像处理主要集中表现在病变检测、图像分割、图像配准及图像融合四个方面。
师兄：抱歉，抱歉，最近忙于俗事。我后面一起补上，学习劲头得向你们年轻人学习啊！话说，你最近在研究什么呢？
自动驾驶车辆需要准确地感知和理解周围环境，相比于二维的视觉感知，三维视觉感知提供了更多的信息和更准确的空间建模能力。而点云配准是三维视觉感知中的一项基本问题，在自动驾驶中的地图、定位等方面有着重要作用。基于特征匹配的配准算法是点云配准领域的核心框架之一，其主要基于特征相似度求解匹配点对，并结合鲁棒匹配算法得到最终的配准结果，该框架更能够适应自动驾驶场景，但大规模且复杂的点云场景也对点云配准算法的效率和准确性提出了更高的要求。
文章：Pole-like Objects Mapping and Long-Term Robot Localization in Dynamic Urban Scenarios
共面性检测网络为解决这一问题提供了新的思路，并能够显著提升三维场景重建的质量。目前这项研究工作已被欧洲计算机视觉大会 (ECCV 2018) 收录，并被邀请赴会进行口头报告 (Oral Presentation)。
文章；LiDAR Odometry Methodologies for Autonomous Driving: A Survey
文章：LiDAR-based SLAM for robotic mapping: state of the art and new frontiers
论文题目：《Voting-Based Pose Estimation for Robotic Assembly Using a 3D Sensor》
来源丨https://blog.csdn.net/qq_30815237/article/details/91897736
论文标题：An Accurate and Robust Range Image Registration Algorithm for 3D Object Modeling
在缺乏鲁棒的视觉特征的环境中，运动结构（SfM）通常无法估计准确的姿势，在这种情况下，最终3D网格的质量会降低，克服这个问题的，一种方法是将单目相机的数据与激光雷达的数据结合起来。这种联合传感器的方法可以捕捉环境中精细的细节和纹理，同时仍能准确地表示无特征的对象，然而，由于这两种传感器的特性根本不同，因此融合这两种传感器模式是非常具有挑战性。
基于视觉的三维重建，指的是通过摄像机获取场景物体的数据图像，并对此图像进行分析处理，再结合计算机视觉知识推导出现实环境中物体的三维信息。
图像拼接技术是计算机视觉和数字图像处理领域中一个研究的重点。图像拼接是指将描述同一场景的两张或者多张有重叠区域的图像,通过图像配准和图像融合技术拼接成一幅大场景全新图像的过程。
除了对应点方式，还可以将点云将与整个形状对齐，获得6D姿态。通常，首先进行粗配准以提供初始对准，然后进行密集配准方法，如迭代最近点（ICP），以获得最终的6D姿态。针对点云方式，挑选了一些相关的paper，在这里做下基本思想分享。
本文仅做学术分享，如有侵权，请联系删除。欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈。内容如有错误欢迎评论留言，未经允许请勿转载！
Cilantro是一个精简高效的点云数据处理库，编程是C++，依赖项较少，但是相比较于PCL来说，代码更有可读性，PCL中大量的使用C++高级特性，阅读起来比较难并且不易重构拆解代码，而cilantro重点放在了3D案例上，尽量减少了样板代码的数量，包含了对点云常见的操作，是一个比较简单易懂的API，所以该库可以被广泛的模块化，并且支持多维度数据进行操作，同时保证对算法模块的模块化和可扩展性。作者是一位在Magic leap公司工作的计算机视觉工程师，是马里兰大学伯克利分校的计算机科学博士，是感知机器人小组的成员。
人类海马由折叠的旧皮质层组成，其亚区包含独特的细胞成分。但由于广泛存在的个体差异，如何将MRI采集的海马图像进行亚区分割，并与根据组织学定义的亚区图谱保持一致是一项具有挑战性的工作。基于表面的海马亚区分割方法允许不同个体之间进行对齐，或从个体“映射”到根据组织学定义的拓扑同源组织参照物上进行对齐。与手动分割或基于配准的方法相比，基于表面的方法为海马亚区分割提供了新的生物学有效约束，并且不受手动分割方法的一些技术限制，例如平面外采样（也就是分割超出了亚区的真实范围）。这种方法还特别适合应用于高分辨率MRI成像中，能够评估海马的个体间变异。
全局视觉定位是指利用单张图像，根据已有的地图，估计相机的绝对姿态（位置和方向）。这种技术可以应用于机器人和增强/虚拟现实等领域。这篇文章的主要贡献是提出了一种利用姿态标签来学习场景的三维几何信息，并利用几何信息来估计相机姿态的方法。具体来说，作者设计了一个学习模型，它可以从图像中预测两种三维几何表示（X, Y, Z坐标），一种是相机坐标系下的，另一种是全局坐标系下的。然后，通过将这两种表示进行刚性对齐，就可以得到与姿态标签匹配的姿态估计。这种方法还可以引入额外的学习约束，比如最小化两种三维表示之间的对齐误差，以及全局三维表示和图像像素之间的重投影误差，从而提高定位精度。在推理阶段，模型可以实时地从单张图像中估计出场景的三维几何信息，并通过对齐得到姿态。作者在三个常用的视觉定位数据集上进行了实验，进行了消融分析，并证明了他们的方法在所有数据集上都超过了现有的回归方法的姿态精度，并且可以实时地从单张图像中估计出场景的三维几何信息，并通过对齐得到姿态。
对于自动驾驶汽车来说，在未知环境中的实时定位和建图非常重要。本文提出了一种快速、轻量级的3D激光雷达SLAM，用于大规模城市环境中自动驾驶车辆的定位。文中提出了一种新的基于深度信息的编码方法，可以对具有不同分辨率的无序点云进行编码，避免了点云在二维平面上投影时丢失维度信息。通过根据编码的深度信息动态选择邻域点来修改主成分分析（PCA），以更少的时间消耗来拟合局部平面。阈值和特征点的数量根据距离间隔自适应，从而提取出稀疏的特征点并均匀分布在三维空间中。提取的关键特征点提高了里程计的准确性，并加快了点云的对齐。在KITTI和MVSECD上验证了该算法的有效性和鲁棒性。里程计估计的快速运行时间为21ms。与KITTI的几种典型的最先进方法相比，所提出的方法将平移误差减少了至少19%，旋转误差减少了7.1%。
AI 科技评论按：在 2017 图像计算与数字医学国际研讨会（ISICDM）上，顾险峰教授应邀出席并做了主题为“医学图像中的几何方法”的学术报告，介绍了基于他们提出的共形几何理论的种种图像处理方法以及在医学图像中的应用实例。 📷 顾险峰教授，现为美国纽约州立大学石溪分校计算机系和应用数学系的终身教授，也是清华大学丘成桐数学科学中心访问教授。曾获美国国家自然科学基金CAREER奖，中国国家自然科学基金海外杰出青年奖（与胡事民教授合作），“华人菲尔茨奖”：晨兴应用数学金奖。丘成桐先生和顾险峰博士团队，
论文： Drost et al. Model Globally, Match Locally: Efficient and Robust 3D Object Recognition. CVPR, 2010.
Poisson Surface Reconstruction for LiDAR Odometry and Mapping
本文提出了一种获取高分辨率的三维视觉信息的方法，主要通过融合结构光视觉测量系统获得的三维信息和二维线扫描相机拍摄的高分辨率图像。
安妮 编译整理 量子位 报道 | 公众号 QbitAI 到底什么是计算机视觉？ 计算机视觉离我们并不遥远。我们经常挂在嘴边的AR、自动驾驶、人脸识别都是计算机视觉的一部分应用。但这样说来可能又太宽泛了。量子位找到一个视频，里面是一组来自Google的研究人员，一起谈计算机视觉的历史、现在和将来。 虽然都属于计算机视觉领域的专家，但这段视频里的被采访者来自谷歌不同的部门： Serge Belongie分管移动端视觉；Bill Freeman主要研究PC端视觉；Julian Ibarz和Vincent Vanh
上一篇给大家介绍了深度学习在医学影像上分类的应用案例，这一篇我将分享深度学习在医学影像上关于图像重建及后处理，图像标注，图像配准，图像超分辨率和回归的应用。
标题：Efficient LiDAR Odometry for Autonomous Driving
文章：High-Definition Map Generation Technologies for Autonomous Driving
图像配准目的在于比较或融合。针对同一对象在不同条件下获取的图像，因为激光扫描光束受物体遮挡的原因，不可能通过一次扫描完成对整个物体的三维点云的获取。因此需要从不同的位置和角度对物体进行扫描。三维匹配的目的就是把相邻扫描的点云数据拼接在一起。三维匹配重点关注匹配算法，常用的算法有最近点迭代算法 ICP和各种全局匹配算法。 ICP（Iterative Closest Point迭代最近点）算法是一种点集对点集配准方法。如下图所示，PR（红色点云）和RB（蓝色点云）是两个点集，该算法就是计算怎么把PB平移旋转，使PB和PR尽量重叠。
PCL（Point Cloud Library，点云库）是在吸收了前人点云相关研究基础上建立起来的大型跨平台开源 C++ 编程库，它实现了大量点云相关的通用算法和高效数据结构，涉及点云获取、滤波、分割、配准、检索、特征提取、识别、追踪、曲面重建、可视化等；支持多种操作系统平台，可在 Windows、Linux、Android、Mac OS X、部分嵌入式实时系统上运行。如果说 OpenCV 是 2D 信息获取与处理的结晶，那么 PCL 就在 3D 信息获取与处理上具有相同的地位。PCL 是 BSD 授权方式，可以免费进行商业和学术应用。
利用Sift提取图像的局部特征，在尺度空间寻找极值点，并提取出其位置、尺度、方向信息。
https://www.cnblogs.com/armysheng/p/3422923.html
摘要：对三维计算机视觉领域中近三十年的局部描述子进行总结，回顾了传统三维手工局部描述符的构造方法，介绍了基于深度学习的方法。
k-d树（k-dimensional树的简称），是一种分割k维数据空间的数据结构。主要应用于多维空间关键数据的搜索（如：范围搜索和最近邻搜索）。
在工业界，利用激光雷达获取点云数据，很早就有应用了，如进行测高、遥感等。近几年的大规模发展得益于自动驾驶和机器人领域的火热，激光雷达成为重要的感知手段而得到人们关注，点云处理也成为热门。
图像配准常为图像融合的一个预处理步骤。经过精确图像配准的图像对，通常可获得更好的融合效果。
VO（Visual Odometry）视觉里程计是通过车载摄像头或移动机器人的运动所引起的图像的变化，以逐步估计车辆姿态的过程。
文章：Direct LiDAR-Inertial Odometry: Lightweight LIO with Continuous-Time Motion Correction
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
