Github项目推荐 | GtS 仿真泛化：将仿真和真实数据集成到基于视觉的自主飞行深度强化学习中

Generalization through Simulation: Integrating Simulated and Real Data into Deep Reinforcement Learning for Vision-Based Autonomous Flight

Github项目地址：

https://github.com/gkahn13/GtS

论文链接：

https://arxiv.org/abs/1902.03701

视频：https://www.youtube.com/watch?v=Rb2a6lSQSas

Crazyflie设置

我们的四旋翼装置包括一个用车载摄像头改造的Crazyflie。请参阅此处获取部件列表，有关构建Crazyflie和运行该软件的说明，请点击此处。ROS代码位于存储库中包含的ROS目录中，而且这是一个独立的包。

软件设置

本项目中，我们用docker容器运行代码

构建并启动docker镜像：

$ cd docker
$ ./gcg-docker.sh build Dockerfile-gibson
$ ./gcg-docker.sh start

docker主界面将通过ssh进行访问：

$ ./gcg-docker.sh ssh

如果要更改docker镜像，则必须运行以下步骤：stop、build和start again（重新启动）：

$ ./gcg-docker.sh stop
$ ./gcg-docker.sh build Dockerfile-gibson
$ ./gcg-docker.sh start

运行我们的实验

下载我们的数据和模型并放置在 <path to GtS>/data 的路径中

相关的实验文件位于 <path to GtS>/configs 的路径中。

要评估我们的仿真方法，请运行：

$ cd scripts
$ python run_gcg_eval.py eval_in_sim -itr 800

在仿真中从头开始训练：

$ python run_gcg.py train_in_sim

要训练我们收集的模拟数据，在configs / train_tf_records.py中输入'<path to GtS> / data / tfrecords'到'offpolicy'参数，然后运行：

$ python run_gcg_train.py train_tf_records

评估我们在现实世界中预先训练的GtS模型：

$ python run_gcg_eval.py eval_in_rw -itr 6

注意：由于ROS的原因，你可能需要在本地计算机环境中运行模型（而不是在docker容器上）， 有关相关系统和python依赖项等方面内容，请参阅Dockerfile-gibson。

参考

Katie Kang*, Suneel Belkhale*, Gregory Kahn*, Pieter Abbeel, Sergey Levine. "Generalization through Simulation: Integrating Simulated and Real Data into Deep Reinforcement Learning for Vision-Based Autonomous Flight." ICRA 2019