论文和代码可以在这个网址找到：https://cs.adelaide.edu.au/~tjchin/apap/
在文章66. 三维重建——相机几何模型和投影矩阵中，我们已经看到了透视相机的成像模型和相机矩阵：
标题：Line as a Visual Sentence: Context-aware Line Descriptor for Visual Localization
图像配准是将两张场景相关的图像进行映射，寻找其中的关系，多用在医学图像配准、图像拼接、不同摄像机的几何标定等方面，其研究也较为成熟。OpenCv中的stitching类就是使用了2007年的一篇论文（Automatic panoramic image stitching using invariant features）实现的。虽然图像配准已较为成熟，但其实其精度、鲁棒性等在某些场合仍不足够，如光线差异很大的两张图片、拍摄角度差异很大的图片等。2013年，Julio Zaragoza等人发表了一种新的图像配准算法Apap（As-Projective-As-Possible Image Stitching with Moving DLT），该算法的效果还是不错的，比opencv自带的auto-stitch效果要好。而2015年也有一篇cvpr是介绍图像配准（Non-rigid Registration of Images with Geometric and Photometric Deformation by Using Local Affine Fourier-Moment Matching），其效果貌似很牛，但没有源码，难以检验。本文简单介绍Apap。
初始化对于单目SLAM来说是必须的。本文重点研究了一种基于平面特征的单目SLAM初始化方法。该算法从滑动窗口的单应矩阵估计开始，然后通过全局平面优化（global plane optimization, GPO）获取相机位姿和平面法线。3D点可以通过使用平面约束恢复，无需三角化（or三角测量）。本文提出的方法充分利用了多帧的平面信息，避免了单应矩阵分解中的模糊性。我们在收集来的棋盘数据集上参照基准方法的实现，验证了我们的算法，并进行了广泛的分析。实验结果表明，我们的方法在准确度和实时性两方面都优于调优后的基准方法。
今天要介绍的是J. L. Sconberger等人于2016年发表在CVPR的文章。本文针对增量式SFM中三角化/BA等步骤进行了改进，能够比较明显地提升SFM的精确率/鲁棒性以及重建完整性。
1.RANSAC算法介绍 RANSAC算法的基本假设是样本中包含正确数据(inliers，可以被模型描述的数据)，也包含异常数据(outliers，偏离正常范围很远、无法适应数学模型的数据)，即数据集中含有噪声。这些异常数据可能是由于错误的测量、错误的假设、错误的计算等产生的。同时RANSAC也假设，给定一组正确的数据，存在可以计算出符合这些数据的模型参数的方法。
本文提出了ORB-SLAM，在大小场景、室内室外环境下都可以实时操作的一种基于特征的单目SLAM系统。系统对复杂的剧烈运动具有鲁棒性，允许宽基线的闭环和重定位，且包含完整的自动初始化。基于最近几年的优秀算法之上，我们从头开始设计了一种新颖的系统，它对所有SLAM任务使用相同的特征：追踪、建图、重定位和闭环。合适策略的存在使得选择的重建点和关键帧具有很好的鲁棒性，并能够生成紧凑的可追踪的地图，只有当场景内容发生变化地图才改变，从而允许长时间操作。本文从最受欢迎的数据集中提供了27个序列的详尽评估。相对于其他最先进的单目SLAM方法，ORB-SLAM实现了前所未有的性能。为了社会的利益，我们将源代码公开。
在非常有限的内存和计算能力的条件下实现准确定位是下一代汽车序列的一大挑战。本文提出了基于几何图元的定位算法，该几何图元的表示形式紧凑，对于其他任务（如规划和行为生成）更有价值。这些图元缺乏独特的签名，这使得检测和地图元素之间的关联非常不明确。我们通过在线构建局部地图来避免传递过程中的歧义，这对于提高运行效率至关重要。此外，我们基于鲁棒的位姿图优化引入了一种新的框架来融合与里程计观测的关联。
选自arXiv 作者：徐迅等人 机器之心编译 参与：路、张倩 许多现实世界的场景不能简单地归类为普通的或者退化的，同时对场景的运动分割也不能简单地划分为基础矩阵方法和单应性矩阵方法。考虑到这些，新加坡国立大学提出了结合多种模型的多视角光谱聚类的框架。实验表明该框架获得最好的运动分割结果。此外，研究者还提出了一个改编自 KITTI 基准的数据集，它包括了许多传统数据集所没有的特征。 许多几何模型被用于运动分割问题，模拟不同种类的相机、场景以及运动。通常情况下，这类问题的基本模型通常是被认为适用于不同场景的，而
白白最近的时间投了一些SLAM相关的实习，通过各种公司的面试了解了流程以及侧重点，有答的不好被拒绝的，也有拿到offer的，也有简历石沉大海的。发现很多基础的问题自己都明白但是在面试紧张的情况下描述的逻辑不是很清晰，所以导致面试效果不是很好，通过自己这一段时间的学习和面试遇到的一些SLAM相关的基础问题做一个总结。
代码见：https://cs.adelaide.edu.au/~tjchin/apap/ 详细代码论文
秋招求职，职位意向 SLAM 相关：做自动驾驶， AR/VR，自主移动机器人面试过程必然有相应问题抛出。
发表于：2021 IEEE International Conference on Robotics and Automation (ICRA)
关键点通常是指Low-Level 的Landmark，如点、角点或边缘，它们可以从不同的视角轻松检索。这使得移动车辆能够估计其相对于周围环境的位置和方向，甚至可以使用一个或多个相机执行闭环（即同时定位与地图构建，SLAM）。在历史上，这项任务是通过手工设计的特征描述子来完成的，如ORB，SURF，HOG，SIFT。然而，这些方法要么不支持实时处理，要么在光照变化、运动模糊等干扰下表现不佳，或者检测到的关键点是聚集成簇而不是在图像中分散，这降低了姿态估计的准确性。学习到的特征描述子旨在解决这些问题，通常通过以随机亮度、模糊和对比度的形式进行数据增强。
文章：Colmap-PCD: An Open-source Tool for Fine Image-to-point cloud Registration
https://blog.csdn.net/chentianting/article/details/88869872
论文地址：https://arxiv.org/pdf/1501.04587.pdf
常规的SLAM算法首先假设环境中所有物体均处于静止的状态。而一些能够在动态环境中运行的SLAM系统，只是将环境中的动态物体视为异常值并将他们从环境中剔除，再使用常规的SLAM算法进行处理。这严重影响SLAM在自动驾驶中的应用。
深度学习在许多情况下都涉及优化。例如，模型中的进行推断(如PCA)涉及求解优化问题。我们经常使用解析优化去证明或设计算法。在深度学习涉及到的诸多优化问题中，最难的是神经网络训练，甚至是几百台机器投入几天到几个月来解析单个神经网络训练问题，也是很常见的。因为这其中的优化问题很重要，代价也很高，因此研究者们开发了一组专门为此设计的优化技术。下面关注一类特定的优化问题：寻找神经网络上的一组参数 ，它能显著的降低代价函数 ，该代价函数通常包括整个训练集上的性能评估和额外的正则化。
用于深度模型训练的优化算法与传统的优化算法在几个方面有所不同。机器学习通常是简接作用的，再打所述机器学习问题中，我们关注某些性能度量P，其定义于测试集上并且可能是不可解的。因此，我们只是间接地优化P，我们希望通过降低代价函数
作者提出了一种语义平面 SLAM 系统，该系统使用来自实例平面分割网络的线索来改进位姿估计和映射。虽然主流方法是使用 RGB-D 传感器，但在这样的系统中使用单目相机仍然面临着鲁棒的数据关联和精确的几何模型拟合等诸多挑战。在大多数现有工作中，几何模型估计问题，例如单应性估计和分段平面重建（piece-wise planar reconstruction，PPR），通常由标准（贪婪）RANSAC解决。然而，在缺乏场景信息（即尺度）的情况下，设置RANSAC的阈值是很非常困难的。在这项工作中，作者认为可以通过最小化涉及空间相干性的能量函数来解决两个提到的几何模型（单应性/3D平面），即图割优化，这也解决了经过训练的CNN的输出是不准确的问题。此外，作者根据实验提出了一种自适应参数设置策略，并完成了对各种开源数据集的综合评估。
本文讲解了视觉里程计（Visual Odometry）和SLAM（Simultaneous Localization and Mapping）的基本概念、发展历程、主要算法及其在实际应用中的优势和挑战。作者通过对这些概念和算法的介绍，使读者对视觉里程计和SLAM有了更加深入的了解。同时，文章还介绍了目前该领域的一些研究热点和未来发展方向，对于想要深入了解视觉里程计和SLAM的读者具有重要的参考价值。
为了校准相机，我们对3D对象（例如图案立方体）成像，并使用3D对象与其2d图像之间的3D-2D点对应关系来查找相机参数。
Visual and Visual-Inertial SLAM: State of the Art, Classification,and Experimental Benchmarking
*图像拼接是将同一场景的多个重叠图像拼接成较大的图像的一种方法，在医学成像、计算机视觉、卫星数据、军事目标自动识别等领域具有重要意义。图像拼接的输出是两个输入图像的并集。 *图像配准（image alignment）和图像融合是图像拼接的两个关键技术。图像配准是图像融合的基础,而且图像配准算法的计算量一般非常大,因此图像拼接技术的发展很大程度上取决于图像配准技术的创新。早期的图像配准技术主要采用点匹配法,这类方法速度慢、精度低,而且常常需要人工选取初始匹配点,无法适应大数据量图像的融合。图像拼接的方法很多,不同的算法步骤会有一定差异,但大致的过程是相同的。 *图像拼接通常用到五个步骤： 1、根据给定图像 / 集，实现特征匹配 2、通过匹配特征计算图像之间的变换结构 3、利用图像变换结构，实现图像映射 4、针对叠加后的图像，采用APAP之类的算法，对齐特征点 5、通过图割方法，自动选取拼接缝
图像拼接是计算机视觉中最成功的应用之一。如今，很难找到不包含此功能的手机或图像处理API。在本文中，我们将讨论如何使用Python和OpenCV进行图像拼接。也就是，给定两张共享某些公共区域的图像，目标是“缝合”它们并创建一个全景图像场景。当然也可以是给定多张图像，但是总会转换成两张共享某些公共区域图像拼接的问题，因此本文以最简单的形式进行介绍。
逐像素的真实尺度深度数据的大量获取，是具有挑战性的任务。为了克服这个限制，自监督学习已经成为一个有希望的替代训练模型，用来执行单目深度估计。本文中，我们提出了一系列的改进手段，用来提升自监督深度学习深度估计方法的精度。
本文承接ORB-SLAM3 细读单目初始化过程(上)，ORBSLAM3单目视觉有很多知识点需要展开和深入，初始化过程是必然要经历的，而网上资料不够系统，因此本文主旨是从代码实现出发，把初始化过程系统化，建立起知识树，以把零碎的知识点串联起来，方便快速学习提升自己。注意，本文虽然从代码出发，但并非讲全部代码细节，如有需要建议直接看源代码，地址是：https://github.com/UZ-SLAMLab/ORB_SLAM3，我自己稍微做了点修改，可以跑数据集的版本，可以参考一下，地址是：https://github.com/shanpenghui/ORB_SLAM3_Fixed
文章：Multi-Camera Visual-Inertial Simultaneous Localization and Mapping for Autonomous Valet Parking
来自Amazon，google，Meta, Microsoft等的面试问题，问题很多所以对问题进行了分类整理，本文包含基础知识和数据分析相关问题
最早应该是十四讲上见过，在第九章的project中src中的visual_odometry.cpp中，最核心的求解3d-2d的变换中：
文章：Online Camera-to-ground Calibration for Autonomous Driving
（VDO-SLAM ：A Visual Dynamic Object-aware SLAM System）
【产生原因】序贯探索决策中有些动作频繁被执行，而有些动作几乎从不会被采样。由于训练分布完全依赖于序贯决策样本，导致训练出的数据分布局部化，即与完整状态-动作空间分布不同
图像配准（apap）是将两张场景相关的图像进行映射，寻找其中的关系，多用在医学图像配准、图像拼接、不同摄像机的几何标定等方面，其研究也较为成熟。OpenCv中的stitching类就是使用了2007年的一篇论文（Automatic panoramic image stitching using invariant features）实现的。虽然图像配准已较为成熟，但其实其精度、鲁棒性等在某些场合仍不足够，如光线差异很大的两张图片、拍摄角度差异很大的图片等。2013年，Julio Zaragoza等人发表了一种新的图像配准算法Apap（As-Projective-As-Possible Image Stitching with Moving DLT），该算法的效果还是不错的，比opencv自带的auto-stitch效果要好。而2015年也有一篇cvpr是介绍图像配准（Non-rigid Registration of Images with Geometric and Photometric Deformation by Using Local Affine Fourier-Moment Matching），其效果貌似很牛，但没有源码，难以检验。
最近我们被客户要求撰写关于偏最小二乘回归（PLSR）和主成分回归（PCR）的研究报告，包括一些图形和统计输出。
文章：LiDARTag: A Real-Time Fiducial Tag System for Point Clouds
单目视觉SLAM可以根据其前端视觉里程计或是后端优化的具体实现算法进行分类：前端可以分为特征点法与直接法，后端可以分为基于滤波器和基于非线性优化。其中在后端上目前已经公认基于非线性优化的方法在同等计算量的情况下，比滤波器能取得更好的结果。而前端的两种方法则各有优劣。
平面图案标定姿势的选择很少被考虑——但标定精度很大程度上取决于它。本文提出了一种姿态选择方法，可以找到一个紧凑和鲁棒的标定姿态集，并适合于交互式标定。奇异的姿态会导致解决方案不可靠，而减少姿态的不确定度对标定有利的。为此，我们使用不确定性传播原理。
对于自动驾驶汽车来说，在未知环境中的实时定位和建图非常重要。本文提出了一种快速、轻量级的3D激光雷达SLAM，用于大规模城市环境中自动驾驶车辆的定位。文中提出了一种新的基于深度信息的编码方法，可以对具有不同分辨率的无序点云进行编码，避免了点云在二维平面上投影时丢失维度信息。通过根据编码的深度信息动态选择邻域点来修改主成分分析（PCA），以更少的时间消耗来拟合局部平面。阈值和特征点的数量根据距离间隔自适应，从而提取出稀疏的特征点并均匀分布在三维空间中。提取的关键特征点提高了里程计的准确性，并加快了点云的对齐。在KITTI和MVSECD上验证了该算法的有效性和鲁棒性。里程计估计的快速运行时间为21ms。与KITTI的几种典型的最先进方法相比，所提出的方法将平移误差减少了至少19%，旋转误差减少了7.1%。
尽管运动恢复结构（SfM）作为一种成熟的技术已经在许多应用中得到了广泛的应用，但现有的SfM算法在某些情况下仍然不够鲁棒。例如，比如图像通常在近距离拍摄以获得详细的纹理才能更好的重建场景细节，这将导致图像之间的重叠较少，从而降低估计运动的精度。在本文中，我们提出了一种激光雷达增强的SfM流程，这种联合处理来自激光雷达和立体相机的数据，以估计传感器的运动。结果表明，在大尺度环境下，加入激光雷达有助于有效地剔除虚假匹配图像，并显著提高模型的一致性。在不同的环境下进行了实验，测试了该算法的性能，并与最新的SfM算法进行了比较。
作者：Weikun Zhen Yaoyu Hu Huai Yu Sebastian Scherer
虽然基于点云的 3D 目标检测方法性能不断提升，但是激光雷达相对高昂的造价和对各种复杂天气情况的敏感性推动着研究人员开始更多地探索基于视觉的 3D 目标检测，其在近几年成为越来越热门的研究方向。
此示例显示如何在matlab中应用偏最小二乘回归（PLSR）和主成分回归（PCR），并讨论这两种方法的有效性。当存在大量预测变量时，PLSR和PCR都是对响应变量建模的方法，并且这些预测变量高度相关或甚至共线。两种方法都将新的预测变量（称为组件）构建为原始预测变量的线性组合，但它们以不同的方式构造这些组件。PCR创建组件来解释预测变量中观察到的变异性，而根本不考虑响应变量。另一方面，PLSR确实将响应变量考虑在内，因此通常会导致模型能够使用更少的组件来适应响应变量。
文章：RD-VIO: Robust Visual-Inertial Odometry for Mobile Augmented Reality in Dynamic Environments
此示例显示如何在matlab中应用偏最小二乘回归（PLSR）和主成分回归（PCR），并讨论这两种方法的有效性 （ 点击文末“阅读原文”获取完整代码数据******** ） 。
领取专属 10元无门槛券
手把手带您无忧上云
