机器之心报道 参与：蛋酱 在深度学习技术的加持下，每一张平面图像都能转换为效果惊艳的3D图像？我突然有一个大胆的想法…… ? 相比于 2D 内容，能产生身临其境感的 3D 内容仿佛总是会更吸引人。...但 VR 场景里 3D 内容的缺乏一直是行业内的一个痛点。...模型框架解析 想要把 2D 内容转换为「真假难辨」的 3D 内容，前提是要了解真实人眼的 3D 感知：「为什么在人眼中，世界是立体的？」...3D 效果测评由于拍摄条件不同会导致 3D 效果不同，所以在 2D 转 3D 效果测评中，研究者用大量人力对预测的视差图和成片在 VR 中的 3D 效果进行综合性的评测。视差图估计如图 4： ?...2D 转 3D 的未来想象 目前，利用该技术转制的 3D 海报内容已经在部分用户的爱奇艺 APP 端进行灰度测试，随后将在各终端的 APP 中呈现。 ? 3D 海报 Demo：《流浪地球》。
在每一个位置，我们都计算 f 和反转后的 g 之间相交区域的面积。这个相交区域的面积就是特定位置出的卷积值。 另一方面，互相关是两个函数之间的滑动点积或滑动内积。...2、3D 卷积 在上一节的解释中，我们看到的实际上是对一个3D 体积执行卷积。但通常而言，我们仍在深度学习中称之为 2D 卷积。这是在 3D 体积数据上的 2D 卷积。过滤器深度与输入层深度一样。...从这一点上我们也可以看到为何「转置卷积」才是合适的名称。 在卷积中，我们定义 C 为卷积核，Large 为输入图像，Small 为输出图像。经过卷积（矩阵乘法）后，我们将大图像下采样为小图像。...给一个具体的例子，5x5图像与3x3核的卷积（步幅=1，填充=0）要求在3个位置水平地扫描核（还有3个垂直的位置）。总共就是9个位置，表示为下图中的点。在每个位置，会应用9次逐元素乘法。...具有1个通道的标准卷积 另一方面，对于空间可分卷积，我们首先在5x5的图像上应用一个3x1的过滤器。可以在水平5个位置和垂直3个位置扫描这样的核，总共就是5x3=15个位置，表示为下图中的点。
如果你听说过深度学习中不同种类的卷积（比如 2D / 3D / 1x1 /转置/扩张（Atrous）/空间可分/深度可分/平展/分组/混洗分组卷积），并且搞不清楚它们究竟是什么意思，那么这篇文章就是为你写的...在每一个位置，我们都计算 f 和反转后的 g 之间相交区域的面积。这个相交区域的面积就是特定位置出的卷积值。 另一方面，互相关是两个函数之间的滑动点积或滑动内积。...在 3D 卷积中，3D 过滤器可以在所有三个方向（图像的高度、宽度、通道）上移动。在每个位置，逐元素的乘法和加法都会提供一个数值。因为过滤器是滑过一个 3D 空间，所以输出数值也按 3D 空间排布。...给一个具体的例子，5×5 图像与 3×3 核的卷积（步幅=1，填充=0）要求在 3 个位置水平地扫描核（还有 3 个垂直的位置）。总共就是 9 个位置，表示为下图中的点。...我们可以在水平 5 个位置和垂直 3 个位置扫描这样的核。总共就是 5×3=15 个位置，表示为下图中的点。在每个位置，会应用 3 次逐元素乘法。总共就是 15×3=45 次乘法。
如果你听说过深度学习中不同种类的卷积（比如 2D / 3D / 1x1 /转置/扩张（Atrous）/空间可分/深度可分/平展/分组/混洗分组卷积），并且搞不清楚它们究竟是什么意思，那么这篇文章就是为你写的...在每一个位置，我们都计算 f 和反转后的 g 之间相交区域的面积。这个相交区域的面积就是特定位置出的卷积值。 另一方面，互相关是两个函数之间的滑动点积或滑动内积。...二、3D 卷积 在上一节的解释中，我们看到我们实际上是对一个 3D 体积执行卷积。但通常而言，我们仍在深度学习中称之为 2D 卷积。这是在 3D 体积数据上的 2D 卷积。过滤器深度与输入层深度一样。...给一个具体的例子，5×5 图像与 3×3 核的卷积（步幅=1，填充=0）要求在 3 个位置水平地扫描核（还有 3 个垂直的位置）。总共就是 9 个位置，表示为下图中的点。...我们可以在水平 5 个位置和垂直 3 个位置扫描这样的核。总共就是 5×3=15 个位置，表示为下图中的点。在每个位置，会应用 3 次逐元素乘法。总共就是 15×3=45 次乘法。
机器学习 深度学习 长按二维码关注 如果你听说过深度学习中不同种类的卷积（比如 2D / 3D / 1x1 /转置/扩张（Atrous）/空间可分/深度可分/平展/分组/混洗分组卷积），并且搞不清楚它们究竟是什么意思...在每一个位置，我们都计算 f 和反转后的 g 之间相交区域的面积。这个相交区域的面积就是特定位置出的卷积值。 另一方面，互相关是两个函数之间的滑动点积或滑动内积。...在 3D 卷积中，3D 过滤器可以在所有三个方向（图像的高度、宽度、通道）上移动。在每个位置，逐元素的乘法和加法都会提供一个数值。因为过滤器是滑过一个 3D 空间，所以输出数值也按 3D 空间排布。...给一个具体的例子，5×5 图像与 3×3 核的卷积（步幅=1，填充=0）要求在 3 个位置水平地扫描核（还有 3 个垂直的位置）。总共就是 9 个位置，表示为下图中的点。...我们可以在水平 5 个位置和垂直 3 个位置扫描这样的核。总共就是 5×3=15 个位置，表示为下图中的点。在每个位置，会应用 3 次逐元素乘法。总共就是 15×3=45 次乘法。
为了拯救军队中的地图盲，一位弗吉尼亚州的科学家为美国陆军设计了一款可将无人机拍摄视频转换为2D和3D地图的软件。...据上周四美国陆军公布的一份专利申请表明，美军地理空间研究实验室的Massaro博士设计了一个算法，可将小型无人机拍摄的动态视频转换为图片文件，并进行元数据提取，实现实时生成准确的2D和3D地图的功能。...这一技术应用了复杂的摄影测量学技术构建地图，即通过提取图片信息来还原被摄物体的确切位置。...TechLink作为美国国防部的科技转让中间商，正在帮助私人企业评估这一转换系统，并商榷互惠互利的商业协议，例如商业评估许可或专利许可。...“无论这一技术的用户是士兵还是农民，都可以提供有用的地形数据和情报数据，并且我很乐于帮助公司学习如何将Massaro博士的技术应用到他们的产品或实践中。”
为了利用2D检测器的架构，它们通常将3D点云转换为规则的网格，或依赖于在2D图像中检测来提取3D框。很少有人尝试直接检测点云中的物体。...更具体地说，在这项工作中，我们的目标是估计定向的3D边界框以及点云对象的语义类。 与2D图像相比，3D点云具有精确的几何形状和对光照变化的鲁棒性。但是，点云是不规则的。...例如，将Faster/Mask R-CNN等2D检测框架扩展到3D，或者将点云转换为常规的2D鸟瞰图像，然后应用2D检测器来定位对象。...然而，这会牺牲几何细节，而这些细节在杂乱的室内环境中可能是至关重要。 在这项工作中，我们提出一个直接处理原始数据、不依赖任何2D检测器的点云3D检测框架。...该模型仅使用3D点云，与之前使用深度和彩色图像的方法相比，有了显著的改进。 在未来的工作中，我们将探索如何将RGB图像纳入这个检测框架，并在下游应用(如3D实例分割)汇总利用我们的检测器。
硬件传感器包括摄像机或一组摄像机，这些摄像机战略性地放置在车辆车身周围，以捕获2D视觉数据，以及一些安装在车辆顶部的雷达，以捕获3D位置数据。...在点云中不容易识别卡车旁边的人 ? 通过视觉信息可以轻松识别人 当执行视觉数据和点云数据的融合时，结果是周围环境的感知模型，该模型保留了视觉特征和精确的3D位置。...相机传感器数据和激光雷达点云数据的融合涉及2D到3D和3D到2D投影映射。 3D到2D投影 硬件 我们从Motional提供的最全面的开源数据集开始：nuScenes数据集。...将3D点云数据转换为世界坐标系 通过与自我框架平移和旋转矩阵相乘，激光雷达参考系（L1）中的每个框架都将转换回世界坐标系。...从3D相机坐标系转换为2D相机框 一旦数据进入相机参考框架，就需要将其从3D相机参考框架投影到2D相机传感器平面。这是通过与相机固有矩阵相乘来实现的。
对于该函数在横轴上滑过的每个点的位置，都计算出函数 f 与翻转后的函数 g 的重合区域。这个重合的区域就是函数 g 在横轴上滑过的某个特定位置的卷积值。...对于该函数在横轴上滑过的每个点的位置，都计算出函数 f 与翻转后的函数 g 的重合区域。这个重合的区域就是函数 g 在横轴上滑过的某个特定位置的卷积值。...但是一般而言，我们依旧将这一操作视为深度学习中的 2D 卷积——3D 体积数据上的 2D 卷积：其过滤器和输入层的深度是一样的；3D 过滤器仅沿着 2 个方向（图像的高&宽）移动。...这里我仅仅概括出关键点。 造成棋盘效应的原因是转置卷积的「不均匀重叠」（uneven overlap）。这种重叠会造成图像中某个部位的颜色比其他部位更深。...举一个具体的案例，在卷积核为 3x3 的 5x5 图像上做卷积，要求横向扫描 3 个位置（以及纵向扫描 3 个位置）上的卷积核，共有 9 个位置，如下图标出的 9 个点所示。
对于该函数在横轴上滑过的每个点的位置，都计算出函数 f 与翻转后的函数 g 的重合区域。这个重合的区域就是函数 g 在横轴上滑过的某个特定位置的卷积值。...对于该函数在横轴上滑过的每个点的位置，都计算出函数 f 与翻转后的函数 g 的重合区域。这个重合的区域就是函数 g 在横轴上滑过的某个特定位置的卷积值。...但是一般而言，我们依旧将这一操作视为深度学习中的 2D 卷积——3D 体积数据上的 2D 卷积： 其过滤器和输入层的深度是一样的； 3D 过滤器仅沿着 2 个方向（图像的高&宽）移动。...这里我仅仅概括出关键点。 造成棋盘效应的原因是转置卷积的「不均匀重叠」（uneven overlap）。 这种重叠会造成图像中某个部位的颜色比其他部位更深。...举一个具体的案例，在卷积核为 3x3 的 5x5 图像上做卷积，要求横向扫描 3 个位置（以及纵向扫描 3 个位置）上的卷积核，共有 9 个位置，如下图标出的 9 个点所示。
另一个基于冗余3D信息的方法流，在最终预测优化结果的额外关键点。 总之，根本的问题是如何将3D目标分配到2D域，并在2D域与3D域之间建立对应关系，然后对其进行预测。...在本文中，采用了一种简单而有效的方法，使2D检测器能够预测3D定位。首先将通常定义的7-DoF 3D位置投影到2D图像上，并获得投影的中心点，与之前的2D中心相比，作者将其命名为3D中心。...利用该投影，3D中心包含2.5D信息，即2D位置及其对应深度。2D位置可以进一步减少到从图像上的某一点的2D偏移，这是唯一的2D属性，可以像在2D检测中那样在不同Level的特征之间归一化。...2、转换为3D表示 另一类方法将输入RGB图像转换为其他3D表示，例如体素和点云。最近的工作在采用这种方法后取得了巨大进展，并表现出了良好的性能。...所有这5个特征图都负责之后不同尺度的预测。 3、Head 最后，对于共享检测头，需要处理2个关键问题: 如何将目标分配到不同尺度的特征和不同的点？ 如何设计架构？
然而激光雷达得到的是3D点云, 而单目相机得到的是2D图像, 如何将3D空间中的点投影到图像平面上, 从而获得激光雷达与图像平面相交的区域, 是本文研究的重点....基于上述方程, 只需要知道该物体在空间中的3D位置以及相机的焦距, 我们就可以计算出物体在图像平面上的2D位置....上文提过, 在相机世界中, 3D外界点转换到2D图像像素点转换方程是 我们可以通过相机的内在参数 intrinsic camera parameters 实现这一转换....外参矩阵 现在我们已经实现了在相机坐标系中3D空间中的点P到2D像素平面中的点P'之间的映射. 但是激光雷达和相机的坐标系所在空间位置是不一样的, 它们都需要在车辆坐标系中进行校准....以下等式说明了如何使用齐次坐标在相机0的图像平面上将空间中的3D激光雷达点X投影到2D像素点Y（使用Kitti自述文件中的表示法）： RT_velo_to_cam * x ：是将Velodyne坐标中的点
领取专属 10元无门槛券
手把手带您无忧上云
