谷歌足球(Google Research Football)是Google Brain 开发的一个足球仿真策略游戏。
GFootball项目链接:
https://github.com/google-research/football
GFootball论文链接:
https://arxiv.org/abs/1907.11180
GFootball项目Blog链接:
https://ai.googleblog.com/2019/06/introducing-google-research-football.html
Google Brain 训练Agent使用的是他们自己研发的SEED算法:
https://arxiv.org/abs/1910.06591
谷歌足球环境有两个特点:一是稀疏奖励(只有进球了才有得分),类似游戏有围棋等;二是随机性大(射门进球是离散概率的),类似游戏有扑克等。
CreateAMind Cuju智能体的算法主要由 SQN + nstep + self-play组成。把算法运行在自己搭建的训练平台上,训练中经过几次surgery得到目前的Agent。目前在谷歌足球的排行榜上,Cuju智能体名列第一。
我们没有采用一般的强化学习算法比如PPO,IMPALA等,而是使用了我们自己的算法。拿第一并不是目的,因为拿第一拼的其实是算力,而我们的计算资源和人力资源极度匮乏。足球实验的目的是为了验证我们的强化学习算法SQN,验证SQN的规模化能力。
训练架构使用的是我们用ray手搭的平台:
https://github.com/createamind/Distributed-DRL
训练代码将在项目总结后开源。
以下是一些和Google Brain Agent的比赛视频。
Cuju_vs_built-in-ai:
http://mpvideo.qpic.cn/0bf2z4aaeaaazyajfpvf3bpfbt6dalhqaaqa.f10002.mp4?dis_k=e53390358454832e8eced483bccd432b&dis_t=1588996475
Cuju_vs_raveman5:
http://mpvideo.qpic.cn/0bf2wiaaeaaavyaje5nf2rpfbmwdakzaaaqa.f10002.mp4?dis_k=6955068bbcf8ca0a5ed765c594614a94&dis_t=1588996475
Cuju_vs_raveman-selfplay-9:
http://mpvideo.qpic.cn/0bf2kqaakaaaomajkeffszpfavgdavkaabia.f10002.mp4?dis_k=4edeb24958a1d5569f2f8884e34566c8&dis_t=1588996475 欢迎支持或加入我们:)