DeepMind Control Suite 是 DeepMind 最新开源的,一套有标准化结构的持续控制任务,旨在成为强化学习 Agent 的性能基准。Control Suite 由 Python 编写,并由 MuJoCo 物理引擎驱动。
论文:
https://arxiv.org/abs/1801.00690
代码:
https://github.com/deepmind/dm_control
演示视频:
安装和要求:
1.从 MuJoCo(http://www.mujoco.org/) 上下载 MuJoCo Pro 1.50,在安装 MuJoCo Pro 之前必须先装好 dm_control, dm_control 的安装脚本会基于 MuJoCo 的头文件生成 Python ctypes 绑定。默认情况下,dm_control会假定 MuJoCo Zip 文件将被提取到 ~/.mujoco/mjpro150 文件夹。
2.通过运行 pip install git+git://github.com/deepmind/dm_control.git 安装 dm_control Python 包,或者克隆 Github 代码库然后运行 pip install /path/to/dm_control/。在安装期间,dm_control 会在 ~/.mujoco/mjpro150/include 的步骤 1 里寻找 MuJoCo 头文件,不过该路径可通过 headers-dir 命令配置。
3.在运行时,dm_control 会要求安装 license key,详情请查看 MuJoCo license key (https://www.roboti.us/license.html)页面。默认情况下,dm_control 在 ~/.mujoco/mjkey.txt 路径寻找 MuJoCo license key。
4.如果将 license key (例如,mjkey.txt) 或 MuJoCo Pro 所提供的共享库(例如,libmujoco150.so或 libmujoco150.dylib)安装到非默认路径,需要用 MJKEY_PATH 和 MJLIB_PATH 环境变量来指定其路径。
1.只要你是用 Homebrew 安装的 Python 解释器 (注意:不是系统默认的解释器),使用上述 pip 安装命令一般是可行的。
2.获取 OpenGL 之前,需要通过运行 brew install glfw 从 Homebrew 安装 glfw。
3.在运行之前,DYLD_LIBRARY_PATH 的环境变量要用 GLFW 库路径来更新,通过运行 export DYLD_LIBRARY_PATH=$(brew --prefix)/lib:$DYLD_LIBRARY_PATH 即可。
from dm_control import suite
# Load one task:
env = suite.load(domain_name="cartpole", task_name="swingup")
# Iterate over a task set:
for domain_name, task_name in suite.BENCHMARKING:
env = suite.load(domain_name, task_name)
# Step through an episode and print out reward, discount and observation.
action_spec = env.action_spec()
time_step = env.reset()
while not time_step.last():
action = np.random.uniform(action_spec.minimum,
action_spec.maximum,
size=action_spec.shape)
time_step = env.step(action)
print(time_step.reward, time_step.discount, time_step.observation)