Github 项目推荐 | 真实全景图像强化学习 AI 平台 —— Matterport3DSimulator

请访问官网（https://bringmeaspoon.org/）获取最近的更新和 Demo。

这是早期发布的开发代码，官方可能会做一些重大的改变，尤其是考虑与 ParlAI 和 OpenAI Gym 整合之后。

特征

• 数据集由 90 个不同的室内环境组成（包括住宅、办公室、酒店、教堂）
• 所有的图像都是真实的，不是合成的（提供更多的视觉复杂度）
• 用于 C++ 和 Python 的 API
• 可定制的图像分辨率、相机参数等
• 支持使用 OpenGL 的 GPU 渲染，以及使用 OSMESA 的离屏（off-screen）CPU 渲染。

参考

Matterport3DSimulator 和 Room-to-Room (R2R) 导航数据集在下述的论文中有详细描述：

https://arxiv.org/abs/1711.07280

如果你要使用模拟器或者数据集，请引用以下论文：

@article{mattersim,
  title={{Vision-and-Language Navigation}: Interpreting visually-grounded navigation instructions in real environments},
  author={Peter Anderson and Qi Wu and Damien Teney and Jake Bruce and Mark Johnson and Niko S{\"u}nderhauf and Ian Reid and Stephen Gould and Anton van den Hengel},
  journal={arXiv preprint arXiv:1711.07280},
  year={2017}
}

安装

前提

有 C++11 支持的 C++ 编译器是必要的，另外，Matterport3DSimulator 有以下的依赖关系：

• OpenCV >= 2.4 including 3.x
• OpenGL
• OSMesa
• GLM
• Numpy
• pybind11 for Python bindings
• Doxygen for building documentation

举个例子，在 Ubuntu 上安装依赖关系：

sudo apt-get install libopencv-dev python-opencv freeglut3 freeglut3-dev libglm-dev libjsoncpp-dev doxygen libosmesa6-dev libosmesa6

Clone Repo

Clone Matterport3DSimulator 库:

# Make sure to clone with --recursive
git clone --recursive https://github.com/peteanderson80/Matterport3DSimulator.git
cd Matterport3DSimulator

如果你没有使用 --recursive 标志进行克隆，则需要从顶级目录手动克隆 pybind 子模块：

git submodule update --init --recursive

目录结构：

• connectivity: Json navigation graphs.
• webgl_imgs: Contains dataset views rendered with javascript (for test comparisons).
• sim_imgs: Will contain simulator rendered images after running tests.
• models: Caffe models for precomputing ResNet image features.
• img_features: Storage for precomputed image features.
• data: You create a symlink to the Matterport3D dataset.
• tasks: Currently just the Room-to-Room (R2R) navigation task.

下载数据集

要使用 Matterport3DSimulator，必须先下载 Matterport3D 数据集（https://niessner.github.io/Matterport/），或者下载预先计算的 ResNet 图像特征并使用离散化的视点。

编译

用 Cmake 来构建 OpenGL

mkdir build && cd build
cmake ..
make
cd ../

用 Cmake 构建 OSMESA

mkdir build && cd build
cmake -DOSMESA_RENDERING=ON ..
make
cd ../

要为doxygen目录中的 C ++ 类构建 html 文档，请运行以下命令并导航到 doxygen / html / index.html：

doxygen

Demo

这些是非常简单的 Demo 演示，旨在说明模拟器如何在 Python 和 C++ 中使用

Python demo:

python src/driver/driver.py

C++ demo:

build/mattersim_main

运行测试

build/tests

如果你没有安装 Matterport3D 数据集，则需要跳过渲染测试：

build/tests exclude:[Rendering]

其他的配置和用法，请参考 Catch 文档：https://github.com/philsquared/Catch

任务

目前模拟器只支持一项任务：Room-to-Room (R2R) 导航任务

请参阅具体的指导来设置和运行此任务：

https://github.com/peteanderson80/Matterport3DSimulator/blob/master/tasks/R2R/README.md

详细信息请访问 Matterport3DSimulator 官方 Github 页面:

https://github.com/peteanderson80/Matterport3DSimulator。