TensorFlow 图形学入门

近年来，可嵌入到神经网络结构中的新型可微的图形层不断出现。从空间转换器到可微的图形渲染器，这些新层利用多年计算机视觉和图形研究中获得的知识来构建新的、更高效的网络架构。将几何先验和约束显式地建模到神经网络中，为架构打开了一扇门，该架构可以以一种自监督的方式进行健壮、高效、更重要的训练。

在较高的层次上，计算机图形管道需要三维对象及其在场景中的绝对位置、构成它们的材料的描述、灯光和摄像机。然后，渲染器解释这个场景描述，生成一个合成渲染。

相比之下，计算机视觉系统将从图像开始，并试图推断出场景的参数。这允许预测场景中有哪些对象，它们由什么材料构成，以及它们的三维位置和方向。

要训练能够解决这些复杂3D视觉任务的机器学习系统通常需要大量的数据。由于标注数据是一个昂贵而复杂的过程，因此设计能够理解三维世界而无需太多监督的机器学习模型的机制是很重要的。结合计算机视觉和计算机图形技术提供了一个独特的机会，利用大量现成的未标记数据。如下图所示，这可以通过综合分析来实现，其中视觉系统提取场景参数，图形系统根据这些参数返回图像。如果渲染结果与原始图像匹配，视觉系统就能准确地提取出场景参数。在这个设置中，计算机视觉和计算机图形学携手并进，形成了一个类似于自动编码器的单一机器学习系统，可以以一种自我监督的方式进行训练。

可微的图形层

在下面的文章中，我们将探讨TensorFlow图形中可用的一些功能。这次旅行并不详尽;欲了解更多信息，请访问我们的Github，了解TensorFlow Graphics提供的新可能性。

转换

对象转换控制对象在空间中的位置。在下面的插图中，轴角形式用于旋转立方体。旋转轴向上，角度为正，使立方体逆时针旋转。在这个Colab示例中，我们展示了如何在一个神经网络中训练旋转形式，该神经网络既训练预测观察对象的旋转，也训练其平移。这项任务是许多应用程序的核心，包括专注于与环境交互的机器人。在这些场景中，用机械臂抓取物体(例如通过它们的手柄)需要精确估计这些物体相对于手臂的位置。

模拟摄像机

相机模型在计算机视觉中起着至关重要的作用，它极大地影响着投影到图像平面上的三维物体的外观。如下图所示，立方体看起来是上下伸缩的，而实际上变化只是由于焦距的变化。尝试这个Colab示例了解更多关于相机模型的细节，以及如何在TensorFlow中使用它们的具体示例。

材料

材料模型定义了光线如何与物体交互，从而赋予它们独特的外观。例如，有些材料，如石膏，能均匀地向四面八方反射光线，而有些材料，如镜子，则纯粹是镜面。在这个交互式Colab笔记本中，您将学习如何使用Tensorflow 生成以下呈现。您还将有机会调整的材料和光的参数，以培养好的直觉去理解它们如何相互作用。准确预测材料性能是许多任务的基础。例如，它可以让用户将虚拟家具放置在他们的环境中，并让这些家具的照片与室内环境真实地融合在一起，让用户对这些家具的外观有一个准确的感知。

几何-三维卷积和池化

近年来，以点云或网格的形式输出三维数据的传感器正成为我们日常生活的一部分，从智能手机深度传感器到自动驾驶汽车lidars。由于其不规则的结构，与提供规则网格结构的图像相比，在这些表示上的卷积要难得多。TensorFlow Graphics带有两个3D卷积层和一个3D池化层，例如，允许网络训练对网格执行语义部分分类，如下图所示，并在这个Colab笔记本中演示。

TensorBoard 3d

可视化调试是评估实验是否朝着正确方向进行的一种很好的方法。为此，TensorFlow Graphics提供了一个TensorBoard插件，可以交互式地可视化三维网格和点云。