机器之心报道 编辑：Panda W 正如米开朗基罗能用大理石雕刻出令人惊叹、栩栩如生的作品，英伟达宣称 Neuralangelo 生成的 3D 结构也带有精细的细节和纹理。...为了解决这个问题，英伟达和约翰霍普金斯大学发布了一项研究，开发了一种命名为 Neuralangelo（即神经朗基罗）的模型，其可以将 2D 视频片段重建成细节丰富的 3D 结构，比如生成建筑、雕塑和其它现实物体的逼真虚拟复制品...正如米开朗基罗能用大理石雕刻出令人惊叹、栩栩如生的作品，英伟达宣称 Neuralangelo 生成的 3D 结构也带有精细的细节和纹理。...Neuralangelo 能将复杂的材料纹理（比如屋顶瓦、玻璃板和光滑大理石）从 2D 视频转译到成 3D 结构，其能力已经显著超越之前的方法。...图 4：定性比较不同的从粗到细优化方案 当使用解析梯度时（AG 和 AG+P），粗粒度的表面通常带有伪影。当使用数值梯度时（NG），可以得到更好的粗粒度形状，细节也更为平滑。
在M2DP中，我们将3D点云投影到多个2D平面，并为每个平面的点云生成密度签名，然后使用这些签名的左奇异向量值和右奇异向量值作为三维点云的描述子。...签名方法中最早的算法之一是结构索引（SI），SI根据3D点云支持从3D曲线或构造的表示。前者从点生成曲线，并对曲线边的连续线段之间的角度进行编码，而后者考虑了沿圆的曲面方向的局部分布。...3D SURF通过体素化3D网格并通过Haar小波响应定义每个体素的显著性，将流行的2D SURF描述符扩展到3D数据。...大多数现有方法在构建三维描述子时都使用点的法线，对于具有噪波数据的点云，通常很难获得一个点的精确法线，对于普通的开源的方法，如Spine Image或ESF，由于这些描述符中缺乏空间信息，因此无法在不同的云中捕获复杂的细节...因此，使用SHOT时，需要仔细选择下采样大小来获得效率和准确率的平衡；本文的M2DP算法显示了很大的优势，尤其在小的下采样网格时。该算法对噪声也有很好的鲁棒性，计算时间也是最短的。
引言 光学系统 高速深度-法线融合 并行化稠密化方案 深度-法线融合 实验设置&结果 实验设置 3D形状的重建 吞吐量和延迟 参考文献 引言 物体的 3D 形状测量有许多应用领域，如机器人，3D接口、存档和复制等...此外，为了获得目标的高质量 3D 形状，整合在每个波长测量的不同物理量是一种实用的策略，就如此前提到的深度和表面法线，两者是互补的，它们的融合有可能产生高质量的 3D 形状。...深度-法线融合 稠密化后，稠密深度和法线相结合，可以通过解一个最小二乘问题来解出优化后的深度： 这里， 是将所有深度值放在 深度图上的向量，稠密化后得到的初始值都带有后缀0。...为了解决该问题，作者将整个图像分成重叠的 块，如下图所示，并通过对每个块中深度进行局部优化后，将他们整合起来的方式，获得对该问题的近似解。...在本实验中，作者测量了下图中(b) 所示的带有详细雕刻的白色兔子雕像，使用了公式4中的高斯加权函数，其中 ，而参数 和 。
具有表面法线但没有顶点法线的几何体将无法使使其flatShading属性为false的材质，要在金字塔的表面使用平滑着色（Smooth Shading），应将每个三角面各顶点法线设置为与该三角面的面法线一致...在这种情况下，即使使用了平滑着色，金字塔的侧面看起来还是平坦的。标准的three.js几何形状，如BoxGeometry则内置了正确的表面和顶点法线。...该函数返回的值为THREE.Vector2或THREE.Vector3，分别用于2D曲线和3D曲线。对于THREE.Curve对象，其getPoint（t）方法应返回与参数t值相对应的曲线上的点。...要制作管状几何体，需要 3D 曲线。也有几种方法可以从2D曲线上制作表面。一种方法是围绕一个轴线旋转曲线，产生一个旋转的表面。表面由曲线旋转时通过的所有点组成。这叫做lathing。...此功能使用范围从 0.0 到 1.0 的参数值在曲线上创建 128 点的数组。 你可以用 2D 曲线完成的另一件事就是简单地填充曲线内部，从而提供 2D 填充形状。
使用素描将 3D 信息传递到 2D 域中是人们常常使用的自然方法。...因为表面法线是编码 3D 信息的最直接的方法之一，所以「素描到法线」是将 2D 概念投射到 3D 空间的主要释义方法，这在卡通着色、数字表面建模、游戏场景增强等方面有广泛的应用。...因为法线信息和素描曲线在图像域中都有良好的表征，所以根据素描推导法线贴图可以使用深度神经网络来实现。...这里我们使用了 RGB 通道来表示 3D 法线分量。所生成的法线贴图可用于多种应用，比如重设表面光照、纹理贴图等。比如这里我们将法线贴图用于冯氏着色（Phong shading）。...本文为机器之心编译，转载请联系本公众号获得授权。
对所有的点重复这个过程，从而得到一个具有良好定义法线的平滑点集。 1.1.3模型点权重 ?...本文采用一种类似于广义霍夫变换的投票机制，投票可以直接在6DOF位姿空间上进行，Drost等提出了一种有效的方案,利用局部坐标将投票空间缩减为2D。...只要找到一个模型对，对应于一个场景对，就建立一个中间坐标系，其中和通过物体围绕法线旋转来对齐。预先计算了该模型的平面旋转角曲线，在线计算了场景点的类似曲线。...然而，如此庞大的假设集需要一个有效的验证方案和典型的策略，如Hinterstoister et al.[2]，要么将ICP放入回路，然而，对于本文方法，姿态精度不用ICP来进行精调，为了验证所收集的假设并对其进行排序...模型点的数量的有效区域的投影，阈值和依赖于传感器，由于传感器没有获得缺失点，阈值被放宽。这个度量有利于更少的遮挡和更少的杂乱匹配，拥有更多法线一致的模型点。
但是每个四边形只有四个法线，每个顶点一个。这只能产生平滑的过渡。如果我们想要变化的并且粗糙的表面，则需要更多的法线。 那么还有一种方法，我们可以将四边形细分为更小的四边形，这让我们可以使用更多法线。...（带有高度贴图的材质） 将匹配变量添加到“My Lighting”包含文件中，以便我们可以访问纹理。让我们看看它的外观，将其分解为反照率。 ? ?...要将其变成指向上的法向矢量，我们必须将切线绕Z轴旋转90°。 ? ? （使用实际的法线） 矢量旋转如何工作的？ 通过交换向量的X和Y分量，并翻转新的X分量的符号，可以将2D向量逆时针旋转90°。...另一个原因是RGB通道获得一个查找表，而A获得其自己的查找表。这样可以使X和Y分量保持隔离。 压缩是有损的，但对于法线贴图是可以接受的。与未压缩的8位RGB纹理相比，你获得了3：1的压缩率。...4.3 同步切线空间 当3D美术创建详细模型时，通常的方法是建立一个非常高分辨率的模型。所有细节都是实际的3D几何。为使此功能在游戏中起作用，会生成模型的低分辨率版本。
但是，现有的生成模式，如流行的生成对抗网络[8]，因为它们生成的图像只使用2D表示，所以无法从2D图像中获取3D信息。...而G-NeRF中编码的底层几何图形，也提高了不同相机视图合成图像的3D一致性。 3.1.2 单目图像的几何提取 从单个视图中提取几何信息是想从单目照片中估计三维信息，如深度、法线和反射率。...表示损耗项的权重因子。用于生成器监控的几何图形(例如法线)是通过将规范视图下的几何图形扭曲为视点v下的几何图形获得的。 场景的几何分支是建立在李等人的研究成果之上的[18]。...带有*的数字是通过将提取的深度拉到平均深度平面来获得的，因为基线倾向于学习过近或过远的平坦深度，如图3和图4所示。...使用我们的GeoD时，凹坑都消失了，生成的形状更加逼真，也获得更好的准确度和一致性分数。
2.1 基于位置的纹理映射 片段的世界位置是3D向量，但是规则的纹理映射是在2D中完成的。因此，我们必须选择两个维度以用作UV坐标，这意味着我们将纹理映射到3D空间中的平面上。...轴对齐的立方体在所有方面都看起来不错，但其中一半以镜像映射结尾。 ? （纹理在另一侧镜像） 当纹理被镜像时，这并不总是一个问题，但是当使用带有数字的测试纹理时，这很明显。因此，请确保纹理不要被镜像。...这还不是特别明显的，因为我们正在根据实际的表面法线平滑地在这些法线之间进行混合，但是当我们调整混合时，情况会变得更糟。 通常，我们将依赖于切线到世界的转换矩阵来使法线适合几何图形的表面。...将三个高度值的参数添加到GetTriplanarWeights。让我们从求幂前直接使用高度开始，替换法线向量。 ? 然后在调用函数时将高度作为参数添加。 ? ?...在我们的案例中，我们在大理石上获得了一个电路层。可以是草，沙或雪。 ? （电路在上面） 默认的混合设置会在投影之间产生相当平滑的混合，在电路和大理石相遇的地方效果不佳。指数为8会导致突然的过渡。
2D 图像提升到 3D 空间。...纹理一致的反向视图合成 尽管目前的图像到3D图像方法可以为输入图像的不可见区域生成合理的结果，但由于在合成其他区域时缺乏对输入图像的认识，结果往往是过饱和、过度平滑、风格不一致和低质量的。...深度图 D 能够指导 I_b 的布局，这对于精细阶段将纹理无缝映射到几何图形至关重要。文本提示 T 描述了人体信息风格，如性别、头发颜色和风格、服装颜色和类型等。...鉴于此，我们从生成的合成纹理一致的反向视图交替获得反向法线 N_b 。这个法线与我们的初始化的几何和合成反向视图很好地对齐。...鉴于参考视图法线和反向视图法线包含大部分人体区域，在应用网格法线平滑度和拉普拉斯平滑度约束后，可以实现参考视图和反向视图之间的合理转换。
我们还通过匹配手工挑选的非连续对，进一步提出了图像检索方法可获得的准确性的宽松上限。...我们的方法通过将输入映射到离散标记并预测序列中的下一个标记，将世界建模视为无监督序列建模问题。我们的模型的新兴特性包括学习高级结构和场景动态、上下文感知、泛化和对几何的理解。...然而，由于文本到图像扩散模型的局限性，这些方法面临着挑战，该模型缺乏对 3D 结构的理解。因此，这些方法很难实现高质量的人类生成，从而产生平滑的几何形状和卡通般的外观。...在本文中，我们观察到使用法线贴图微调文本到图像扩散模型使其能够适应文本到法线扩散模型，从而增强 3D 几何的 2D 感知，同时保留从大规模数据集学到的先验知识。...因此，我们提出了 HumanNorm，这是一种通过学习法线扩散模型（包括法线自适应扩散模型和法线对齐扩散模型）来生成高质量且逼真的 3D 人体的新方法。
效果图： 模型为Asset Store资源商店中免费资源Robot Kyle机器人 实现原理： 通过法线方向和视线方向的夹角来判断点是否处于边缘，从而给其增加边缘光，视线方向和法线方向垂直时，...夹角的判断需要通过向量dot点积，点积结果为0时，法线方向与视线方向垂直，则该点处于边缘，给其增加边缘光。...用于模型贴图 Rim Power（Vector1 类型）：用于控制边缘光强度 Rim Color（HDR类型 Color）：用于控制边缘光颜色 创建Normal Vector法线向量节点...，若该值小于 1 - Rim Power属性的值则取0，若大于1则取1，否则取0和1之间的平滑插值，通过Smoothstep节点实现： 关于Smoothstep节点的官方文档介绍： 将Smoothstep...的输出值与Rim Color属性值相乘后输出至PBR Master主节点中的Emission节点： 最终将Main Texture通过Sample Texture 2D节点输出到PBR Master
然而，获得用于训练的多视图2D或2.5D图像相对容易。...这种差异是受空间雕刻的启发而产生的： ? 其中S（j）是原始3D对象X的第j个2D轮廓，n是每个3D模型使用的轮廓或视图的数目，P（·）是3D到2D投影函数，α（j）是第j个轮廓的相机参数。...2.1.2.3相机参数和视点估计：基于重投影的损失函数使用相机参数将估计的三维形状渲染到图像平面上，一些方法假设一对或多对观测相机可用。这里，可以是RGB图像、轮廓或目标3D形状的深度图。...其他方法同时对摄像机参数和最能描述输入的三维重建进行优化。 Gadelha[4]使用完全连接的层将输入图像编码为隐表示和pose code。...然后将pose code用作2D投影模块的输入，该模块将估计的3D体积渲染到输入的视图上。有些方法只估计了相机的姿态，与同时进行重建的技术不同，这些方法只使用姿态注释进行训练。
3D 衣物建模是计算机领域的一个关键且具有挑战性的任务，具体是指如何在计算机中构建一件 3D 的虚拟衣物。构建 3D 衣物具有多种实际应用，包括 3D 虚拟试衣、虚拟数字人和服装设计。...论文链接: https://arxiv.org/abs/2211.06701 背景 目前基于学习的方法要么使用固定的 3D 网格模板，将衣物表示为 SMPL 模型上的位移，或是借助人体的 UV 参数化来表示衣物...因此可以将衣服拆解成几个基本的部件类别，并为每种类别计算一个 PCA 子空间。通过拼接这些类别的 PCA 系数来获得缝纫纸样的特征编码。...2）3D 衣物预测模块负责从缝纫纸样的特征编码中解码出 3D 衣物。本文引入了带有掩模的 UV 位置图（UV position maps with masks）来表示一件 3D 的衣物。...(d)表面法线损失约束了预测的 3D 衣物应具有与 3D 标签相同的表面法线向量。 实验 实验表明了我们的框架能够表示不同的形状和拓扑结构下的 3D 衣物。
早期受硬件设备和技术的限制，学者们对点云问题的处理方法有一种思路是将点云转为多张二维图像，然后采用更为可靠的数字图像处理方法，其本质上其实是一种降维处理方式。...因此，在很多情况下，对点云的处理实际上是指利用3D坐标来处理无组织、无颜色的3D点云的方法。而几何语义恰恰与空间坐标有着千丝万缕的关系，这是点云本身固有的属性。...图1 几何语义分类 在图1中，形状集包括像2D线（例如，2D轮廓、直线和曲线），物体表面（例如，平面，曲面）、三维体（例如，立方体和圆柱体等）和3D边界等元素。...例如，在一些检测任务中，如LiDAR点云中的电线杆就可以利用线语义检测，如图2所示，像这类的文章还是很多的，处理一些简单分类问题还是可以的。...例如，在计算机图形学领域里，法向量决定着曲面与光源的强弱处理的准确度，对于曲面上每个点的光源位置，其亮度取决于该点法向量的方向，在进行光照渲染时必须依赖于可靠的法线估计才能产生符合人眼习惯的效果；三维扫描仪获取的点云中不可避免的含有噪声
利用传统视频编解码器对点云进行编码需要将输入点云映射到常规2D网格。目标是找到时间上一致的低失真内射映射，其将3D点云的每个点分配给2D网格的单元。...图4 V-PCC Patch生成过程概览 首先，估计每个点的法线；然后通过将每个点与六个单位立方体定向平面中的一个相关联来获得点云的初始聚类。...在该过程结束时，H减少以便仅考虑所使用的网格单元。 B. 图像生成&填充——将点云几何和纹理信息转换成适合于使用传统视频编解码器的时间相关的，分段平滑的2D图像。...图像生成过程利用在打包过程中计算的3D到2D映射，以将点云的几何和纹理存储为图像。下图为生成的几何和纹理图像的示例。...图6 子块遍历顺序 E.平滑和几何/纹理重建 平滑过程旨在缓解由于压缩失真而可能在Patch边界处出现的潜在不连续性。实现的方法将边界点移动到其最近点的质心。
最后，我们通过考虑合成的多视图图像中的轻微不对齐来执行多视图融合，以获得完全贴图的高分辨率3D人体网格。...我们的贡献包括： 我们首次证明，用于一般图像合成的2D扩散模型可以用于从单一图像中进行3D纹理人类数字化。 我们的方法通过使用法线图和轮廓图来指导扩散模型，保留了底层3D结构的形状和结构细节。...为了解决这个问题，我们采用了ControlNet方法，将额外的结构信息纳入扩散模型。当我们使用法线图作为控制信号时，我们可以保留网格的结构细节，但不能保留人体形状。...图 4 首先，使用xatlas计算重建的3D几何的UV参数化。然后，通过具有对小不对齐鲁棒性的损失函数的逆渲染优化UV纹理映射 T 。...为了方法的通用性，未来的工作可能需要考虑在生成具有广泛适用性的2D扩散模型时进行高保真度的3D形状重建和背景合成。 总体而言，这些局限性提供了未来改进和拓展这项工作的方向。
游戏开发中的进阶向量数学 飞机 到飞机的距离 远离原点 以2D方式构建平面 飞机的一些例子 3D碰撞检测 更多信息 飞机 点积具有带有单位向量的另一个有趣的属性。...虽然，通常他们只是简称为法线。法线出现在飞机，3D几何（以确定其中每一个面或顶点板壁）等。通常 是一个单位矢量，但它被称为正常 ，因为它的用法。（就像我们将（0,0）称为原点）。 看起来很简单。...例如： 对于3D数学，Godot提供了Plane 内置类型来处理。 基本上，N和D可以表示空间中的任何平面，无论是2D还是3D（取决于N的维数），并且两者的数学公式相同。...; } 如您所见，飞机非常有用，这是冰山一角。您可能想知道非凸多边形会发生什么。通常可以通过将凹面多边形拆分为较小的凸面多边形，或使用诸如BSP（如今已不多使用）之类的技术来处理。...这可能不是直接用例（Godot已经很好地进行了碰撞检测），但是几乎所有物理引擎和碰撞检测库都在使用它：） 还记得将2D中的凸形转换为2D平面数组对于碰撞检测很有用吗？
梯度是通过将合成图像馈送到鉴别器得到的。为了补偿计算曲面法线的额外计算负担，研究团队进一步设计了通过曲面跟踪的高效体绘制策略，将训练和推理时间分别减少24%和48%。...但这些基于2D表示的模型无法以3D一致性方式合成实例新视图。它们也无法表示明确的三维物体形状。为了克服这些限制，研究人员提出了新的深度生成模型，将3D场景表示为神经辐射场。...如果可以训练出学习精确3D物体形状的3D感知生成模型，各种下游应用就可以的到拓展，如3D形状重建和图像重照明。现有3D感知图像合成尝试倾向于学习不准确且有噪声的粗略3D形状，如下图所示。...由于通过这种着色处理的图像外观强烈依赖于曲面法线，因此与早期的着色不可知生成模型相比，不准确的3D形状表示将更清晰地显示出来。...GAN反演 ShadeGAN还可以通过执行GAN反演来重建给定的目标图像。如下图所示，这种反演允许我们获得图像的几个因素，包括3D形状、表面法线、近似反照率和阴影。
前言 consumer RGB-D cameras主要是指价格相对低廉的主动式3D相机，如3D结构光相机和TOF相机。通常用于人脸重建，室内场景重建等。...实验后发现仅仅使用彩色图而不用深度图作为输入，预测法线竟然效果最好！因此可以训练一个网络仅从颜色图来预测表面法线，观察到的深度仅作为从法线图正则化求深度时使用。...LAPDEN网络结构 结构细节：输入深度图经过7×7的卷积层映射为64通道的图，然后输入到带有跨层连接的多层金字塔结构。...从这个角度来看，我们的Denoising net是学习一个深度融合的步骤，它能够获得比启发式平滑更好的深度精度。 ?...在测试时，我们的整个处理过程包括数据预处理和级联CNN预测。预处理步骤包括：深度与颜色对齐、形态学变换和必要时的重采样。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
