为了校准相机，我们对3D对象（例如图案立方体）成像，并使用3D对象与其2d图像之间的3D-2D点对应关系来查找相机参数。
激光雷达技术、以及立体视觉通常用于3D定位和场景理解研究中，那么单个摄像头是否也可以用于3D定位和场景理解中吗？所以我们首先必须了解相机如何将3D场景转换为2D图像的基本知识，当我们认为相机坐标系中的物体场景是相机原点位置（0，0，0）以及在相机的坐标系的X、Y、Z轴时，摄像机将3D物体场景转换成由下面的图描述的方式的2D图像。
为了轻松理解问题，我们假设您在一个房间内部署了一个摄像头。 给定这个房间中的 3D 点 P，我们想在相机拍摄的图像中找到该 3D 点的像素坐标 (u,v)。
外文原文：Deep manta: A coarse-to-fine many-task network for joint 2d and 3d vehicle analysis from monocular image
智能视觉测量是指用计算机视觉技术实现对物体的尺寸测量，它在工业、林业、物流等领域有重要的应用。一般做法是用相机或激光雷达对物体拍照/扫描，然后识别图像中的待测量物体，得到其边界或形状信息，最后在坐标系中计算物体的尺寸。本文将以原木智能检尺（直径测量）为例，介绍智能视觉测量系统的技术原理，以及需要解决的难点问题。
于是，从世界坐标系到相机坐标系，涉及到旋转和平移（其实所有的运动也可以用旋转矩阵和平移向量来描述）。绕着不同的坐标轴旋转不同的角度，得到相应的旋转矩阵，如下图所示：
原标题：Real-time 3D Reconstruction of Dynamic Scenes with Multiple Kinect v2 Sensors
其中，R为旋转矩阵，t为平移向量，因为假定在世界坐标系中物点所在平面过世界坐标系原点且与Zw轴垂直（也即棋盘平面与Xw-Yw平面重合，目的在于方便后续计算），所以zw=0，可直接转换成式1的形式。其中变换矩阵
上周的组会上，我给研一的萌新们讲解什么是SLAM，为了能让他们在没有任何基础的情况下大致听懂，PPT只能多图少字没公式，这里我就把上周的组会汇报总结一下。
翻译 | 彭硕，姜沂，reason_W 编校 | reason_W DeepMind开源《星际2》AI平台，OpenAI人工智能系统打败Dota2游戏顶级玩家......越来越多的科技巨头开始进入到游戏AI的领域，并相继开放了他们的接口和数据集。复杂的训练数据，即时多变的对战环境，对多智能体协作能力的要求等等使得《星际争霸》这样的游戏被称为通用智能的关键，预示着AI将在越来越真实的混乱环境里向人类的心智靠近。 那么小白玩家该如何入坑游戏AI呢？游戏AI到底是如何和游戏进行接口交互，判断角色状态，执行动作
有人反映哦，有时候我们发出来的技术贴太硬了，不方便去理解，于是，就有了上面这个尝试，在开始正课之前，我们先讲一段故事。如果大家觉得OK，后面我们将继续用这种方式来讲课，如果不OK，请大家在我们评论区提供您宝贵的意见。
单应性是一种平面关系，可将点从一个平面转换为另一个平面。它是一个3乘3的矩阵，转换3维矢量表示平面上的2D点。这些向量称为同质坐标，下面将进行讨论。下图说明了这种关系。这四个点在红色平面和图像平面之间相对应。单应性存储相机的位置和方向，这可以通过分解单应性矩阵来检索。
确定空间某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型（各个坐标系），这些坐标系之间的转换参数就是相机参数，求解参数的过程叫做相机标定（摄像机标定）。建立立体视觉系统所需要的各个坐标系，包括世界坐标系、相机坐标系、以及图像坐标系（物理和像素坐标系）。
在文章29. 小孔相机中，我介绍了小孔相机的成像模型。如果你看了这篇文章，你应该至少有了一个重要印象，即相机是一个将三维物体投影为二维图像的设备。
获取摄像机的内参和外参矩阵（同时也会得到每一幅标定图像的选择和平移矩阵），内参和外参系数可以对之后相机拍摄的图像就进行矫正，得到畸变相对很小的图像。
一直以来，研究人员都希望能够赋予机器和人类感官一样的感知，其中就包含视觉。作为人类最重要的感官之一，人类接受到的信息中超过 70% 来源于双眼。人的眼睛可以感知到 3D 信息，由于双目视觉的存在，即使面对一张照片也可以比较轻易的从中获取深度信息。然而，这对计算机来说却是一个难点——3D 世界中形状不同的物体可以在 2 维世界中拥有一模一样的投影，3D 形状的估计实际上是一个非适定性问题（ill-posed problem）。传统研究主要利用各类几何关系或者先验信息，而近年来随着深度学习的流行，对几何方法的研究似有所忽视。
2：相机坐标系：以摄像机光心为原点（在针孔模型中也就是针孔为关心），z轴与光轴重合也就是z轴指向相机的前方（也就是与成像平面垂直），x轴与y轴的正方向与物体坐标系平行，其中上图中的f为摄像机的焦距。单位m
一句话就是世界坐标到像素坐标的映射，当然这个世界坐标是我们人为去定义的，标定就是已知标定控制点的世界坐标和像素坐标我们去解算这个映射关系，一旦这个关系解算出来了我们就可以由点的像素坐标去反推它的世界坐标，当然有了这个世界坐标，我们就可以进行测量等其他后续操作了～上述标定又被称作隐参数标定，因为它没有单独求出相机的内部参数，如相机焦虑，相机畸变系数等～一般来说如果你仅仅只是利用相机标定来进行一些比较简单的视觉测量的话，那么就没有必要单独标定出相机的内部参数了～至于相机内部参数如何解算，相关论文讲的很多～
相机标定 相机的内参矩阵 在OpenCV的3D重建中（opencv中文网站中：照相机定标与三维场景重建），对摄像机的内参外参有讲解： 外参：摄像机的旋转平移属于外参，用于描述相机在静态场景下相机的运动
本文来自旷视研究院，作者：闫东。AI 科技评论获授权转载。如需转载，请联系旷视研究院。
这篇文章作为基础文章也是本文的学习和理解的过程，在将会给出更多的注释和“废话”帮助自己理解。同时有错误的话欢迎各位朋友留言指教。
文章：MC-NeRF: Muti-Camera Neural Radiance Fields for Muti-Camera Image Acquisition Systems
自动驾驶汽车的发展已经见证了硬件传感器记录感官数据的容量和准确度的发展。传感器的数量增加了，新一代传感器正在记录更高的分辨率和更准确的测量结果。在本文中，我们将探讨传感器融合如何在涉及环环相扣的数据标记过程中实现更高程度的自动化。
标题：Camera calibration using two or three vanishing points
本文参考文档： 原理部分：https://blog.csdn.net/honyniu/article/details/51004397 代码部分：https://www.cnblogs.com/wildbloom/p/8320351.html ；https://blog.csdn.net/firemicrocosm/article/details/48594897#
简单来说OpenGL API是一套接口，通过这套接口我们可以在那些支持OpenGL的机器上对图形硬件设备特性进行访问，例如在电脑屏幕或手机屏幕上进行图形绘制。也就是说OpenGL一个进行图形开发的规范，而它的实现是硬件设备厂商提供的，而这些实现通常被称为“驱动”，它们负责将OpenGL定义的API命令翻译为硬件指令。
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/zhangjunhit/article/details/89087012
文章：Extrinsic Camera Calibration with Semantic Segmentation
在三维视觉中，经常出现的一种情况是：我们已知一组点的三维坐标，和相机拍摄这些点时获取的二维坐标。如何通过这些二位点的坐标，（结合已知的三维坐标信息），确定出相机在世界坐标系中的位姿，即旋转矩阵R和平移向量t？这个问题称作Perspective-n-Point 问题，简称PnP问题。
有趣的镜子不是平面镜子，而是凸/凹反射表面的组合，它们会产生扭曲效果，当我们在这些镜子前面移动时，这些效果看起来很有趣。
现有的视觉SLAM一般假定环境是刚性的，这种假设很大程度上限制了算法的应用，因为现实环境是动态变化的(汽车，行人等)。现有的解决方法一是通过动态物体去除来缓解这个问题，但是随着动态物体点占比的提升，直接采取去除的方式会大大降低定位的精度；二是利用深度学习来标注动态物体从而来维持静态环境的假设，但是这样会导致环境信息的丢失；三是基于语义来同时解决SLAM和目标跟踪问题，这也是这篇文章的技术基础之一。
多传感器融合一直是自动驾驶领域非常火的名词, 但是如何融合不同传感器的原始数据, 很多人对此都没有清晰的思路. 本文的目标是在KITTI数据集上实现激光雷达和相机的数据融合. 然而激光雷达得到的是3D点云, 而单目相机得到的是2D图像, 如何将3D空间中的点投影到图像平面上, 从而获得激光雷达与图像平面相交的区域, 是本文研究的重点. 其次本文会介绍相机这个大家常见的传感器, 以及讲解如何对相机进行畸变校准.
点云的获取方式有多种，比如三维成像传感器、Lidar激光探测与测量、逆向工程等... 对于寻常百姓家，后2者的成本是十分昂贵的，所以我们可以尝试玩一下自己搭建三维成像传感器中的一种——3D线激光，一个单目相机，一个激光足矣。
白白最近的时间投了一些SLAM相关的实习，通过各种公司的面试了解了流程以及侧重点，有答的不好被拒绝的，也有拿到offer的，也有简历石沉大海的。发现很多基础的问题自己都明白但是在面试紧张的情况下描述的逻辑不是很清晰，所以导致面试效果不是很好，通过自己这一段时间的学习和面试遇到的一些SLAM相关的基础问题做一个总结。
数字图像是真实世界中的对象通过光学成像设备在光敏材料上的投影。在3D到2D的转换过程中，深度信息会丢失。从单个或多个图像中恢复有用的3D信息需要使用立体视觉知识进行分析。本文分别介绍了针孔摄像机模型和对极几何的基本知识。
第一步：眼睛观察到三维世界，并将其转换到视网膜平面（三维空间转换到二维平面）传送信息给大脑；
文章：A Survey of Calibration Methods for Optical See-Through Head-Mounted Displays
假设你现在已经拍摄了脚的多张各个角度的2D照片，那么如何将这些照片转化成一个3D数字化形状呢？首先第一步，你要对摄像机进行定标，比如确定摄像机的焦距、摆放位置和角度等。
目前采用的主流相机畸变矫正模型基本都是Brown-Conrady模型，原论文：Decentering Distortion of Lenses
我们来看看物体上的光线的传播情况，物体上每个点发出的光线会发射到传感器的每个像素上
世界坐标系是在环境当中选定的一个三维坐标系，用于描述环境中任何物体的位置，符合右手坐标系。相机坐标系的原点位于镜头的光心，x，y轴分别与相机的边缘平行，z轴为垂直于成像平面的光轴。世界坐标系到相机坐标系属于刚体变换，即只发生平移及旋转,属于3D到3D的转换。
我们将介绍什么是相机的内参矩阵，以及如何使用它将RGBD（红色、蓝色、绿色、深度）图像转换为3D空间。获取RGBD图像的方式有很多种，例如Kinect相机之类的系统，这些系统通过测量红外光的飞行时间来计算深度信息。但也有传闻称iPhone 12将LiDAR集成到其相机系统中。对于无人驾驶汽车而言，最重要的数据来源与汽车上的LiDAR以及标准RGB摄像头。在本文中，我们不会详细介绍如何获取数据。
来源丨https://blog.csdn.net/qq_30815237/article/details/91897736
论文题目：Single-Stage 6D Object Pose Estimation
在这里我们所说的双目标定是狭义的，讲解理论的时候仅指两台相机之间相互位置的标定，在代码实践的时候，我们才说完整的双目标定。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
你可能已经(或可能没有)听过或看过增强现实电子游戏隐形妖怪或Topps推出的3D棒球卡。其主要思想是在平板电脑，PC或智能手机的屏幕上，根据卡片的位置和方向，渲染特定图形的3D模型到卡片上。 图1：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
