Github项目推荐 | 目标姿态检测数据集与渲染方法

标准化数据集在多媒体研究中至关重要。今天，我们要给大家推荐一个汇总了姿态检测数据集和渲染方法的 Github 项目。

项目地址

https://github.com/YoungXIAO13/ObjectPoseEstimationDatasets

这个数据集汇总了用于对象姿态估计的数据集，以及生成合成训练数据的呈现方法。在下表中，3D CAD 模型表示为模型，2D 图像表示为对象。

该项目分为四个部分：

• 受控环境中的对象
• 野外物体
• 3D 模型数据集
• 渲染方法

受控环境中的对象

此表列出了通常称为 BOP:Benchmark 6D 对象姿态估计的数据集，该数据集提供精确的 3D 对象模型和精确的 2D~3D 对齐。

可以下载所有 BOP 数据集，并使用作者提供的工具箱。

使用项目上面的代码 ply2obj.py 将原始 .ply 文件转换为 .obj 文件，并运行 create_annotation.py 为数据集中的所有场景创建一个注释文件。

以上数据集的下载地址：

• HomebrewedDB：https://bop.felk.cvut.cz/datasets/
• YCB-Video：https://rse-lab.cs.washington.edu/projects/posecnn/
• T-LESS：https://bop.felk.cvut.cz/datasets/
• Doumanoglou：https://bop.felk.cvut.cz/datasets/
• Tejani：https://bop.felk.cvut.cz/datasets/
• Occluded-LINEMOD：https://bop.felk.cvut.cz/datasets/
• LINEMOD：https://bop.felk.cvut.cz/datasets/

野外物体

在该表中， Pix3D 和 ScanNet 提供精确的 2D-3D 对齐，而其他仅提供粗略的对齐。

PASCAL3D+ 是用于视点估计的事实基准。

ScanNet 通常用来评估场景重建和分割。

数据集下载地址：

• ApolloCar3D：http://apolloscape.auto/car_instance.html
• Pix3D：http://pix3d.csail.mit.edu/
• ScanNet：http://www.scan-net.org/
• ObjectNet3D：http://cvgl.stanford.edu/projects/objectnet3d/
• PASCAL3D+：http://cvgl.stanford.edu/projects/pascal3d.html
• KITTI：http://www.cvlibs.net/datasets/kitti/eval_object.php

3D 模型数据集

为了验证网络泛化能力，可以使用以下数据集生成合成训练数据。请注意，ABC 包含通用和任意的工业 CAD 型，而 ShapeNetCore 和 ModelNet 包含常见类别的对象，如汽车和椅子。

数据集地址：

• ABC：https://deep-geometry.github.io/abc-dataset/
• ShapeNetCore：https://www.shapenet.org/download/shapenetcore
• ModelNet-40：http://modelnet.cs.princeton.edu/

渲染方法

• 可微渲染

这里有两篇参考论文：CVPR 2018 论文《Neural 3D Mesh Renderer》（http://hiroharu-kato.com/projects_en/neural_renderer.html）和 NIPS 2018 论文《RenderNet》（https://github.com/thunguyenphuoc/RenderNet）。

• Blender Render 渲染

本 repo 提供了相关的 python 代码，以使用 Blender 作为一个易于安装和生成照片级真实图像的 python 模块，从 3D 模型生成渲染图像。

你可以在这里找到更多关于使用它的方法：https://github.com/weiaicunzai/blender_shapenet_render。

• 物理模拟器

Pybullet 是机器人界非常受欢迎的一个物理模拟器（https://github.com/weiaicunzai/blender_shapenet_render）。

• 其他

Glumpy：不支持无头渲染（在 ssh 模式下会失败，Link：https://github.com/glumpy/glumpy）

UnrealCV：Unreal Engine 4 的扩展，帮助与虚拟世界交互并与外部程序通信（https://github.com/unrealcv/unrealcv）。

合成计算机视觉：恢复许多用于生成合成图像的技术（https://github.com/unrealcv/synthetic-computer-vision）

via：https://github.com/YoungXIAO13/ObjectPoseEstimationDatasets