AI + 3D！英伟达开源3D深度学习框架Kaolin

点击我爱计算机视觉标星，更快获取CVML新技术

3D计算机视觉在医学影像、自动驾驶、机器人深度感知、视频游戏、虚拟和增强现实中有重要应用。

近日，英伟达新开源了kaolin深度学习框架，旨在加速3D计算机视觉的研究。其基于PyTorch实现，包括主流3D视觉数据表示的读取和3D计算机视觉的可微分模块。将大大降低3D计算机视觉研究的进入门槛。

目前该库支持主流的3D数据表示有：Triangle Meshes, Quad Meshes, Voxel Grids, Point Clouds, Signed Distance Functions (SDF)，并支持这些数据格式的相互转换。可以很方便将上述数据导入神经网络中。

Kaolin 实现了可微分的 rendering, lighting, shading, and view warping，同时也支持常见的损失函数和度量标准，也可于计算后无缝渲染3D结果。

Kaolin支持的3D计算机视觉任务：

• 可微分渲染；
• 单图像的mesh重建；
• 点云分类与分割；
• Mesh 分类与分割；
• voxel grids上的3D超分辨率；
• 一些基础图形功能；

不仅如此，Kaolin还实现了大量state-of-the-art的3D计算机视觉算法，包括：

• DGCNN
• DIB-R
• GEOMetrics
• Image2Mesh
• Occupancy Network
• Pixel2Mesh
• PointNet
• PointNet++
• MeshEncoder: A simple mesh encoder architecture.
• GraphResNet: MeshEncoder with residual connections.
• OccupancyNetworks
• MeshCNN
• VoxelGAN
• AtlasNet

项目地址：

https://github.com/NVIDIAGameWorks/kaolin

总之，对于从事3D 计算机视觉研究的朋友来说，这是一个非常值得参考的库！NVIDIA为了卖计算卡，真是费心了。