首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Meet CreateAMind Cuju ( 谷歌足球 SOTA )

Meet CreateAMind Cuju ( 谷歌足球 SOTA )

作者头像
用户1908973
发布2020-05-09 11:55:57
7940
发布2020-05-09 11:55:57
举报
文章被收录于专栏:CreateAMindCreateAMind

谷歌足球(Google Research Football)是Google Brain 开发的一个足球仿真策略游戏。

GFootball项目链接:

https://github.com/google-research/football

GFootball论文链接:

https://arxiv.org/abs/1907.11180

GFootball项目Blog链接:

https://ai.googleblog.com/2019/06/introducing-google-research-football.html

Google Brain 训练Agent使用的是他们自己研发的SEED算法:

https://arxiv.org/abs/1910.06591

谷歌足球环境有两个特点:一是稀疏奖励(只有进球了才有得分),类似游戏有围棋等;二是随机性大(射门进球是离散概率的),类似游戏有扑克等。

CreateAMind Cuju智能体的算法主要由 SQN + nstep + self-play组成。把算法运行在自己搭建的训练平台上,训练中经过几次surgery得到目前的Agent。目前在谷歌足球的排行榜上,Cuju智能体名列第一。

我们没有采用一般的强化学习算法比如PPO,IMPALA等,而是使用了我们自己的算法。拿第一并不是目的,因为拿第一拼的其实是算力,而我们的计算资源和人力资源极度匮乏。足球实验的目的是为了验证我们的强化学习算法SQN,验证SQN的规模化能力。

训练架构使用的是我们用ray手搭的平台:

https://github.com/createamind/Distributed-DRL

训练代码将在项目总结后开源。

以下是一些和Google Brain Agent的比赛视频。

Cuju_vs_built-in-ai:

http://mpvideo.qpic.cn/0bf2z4aaeaaazyajfpvf3bpfbt6dalhqaaqa.f10002.mp4?dis_k=e53390358454832e8eced483bccd432b&dis_t=1588996475

Cuju_vs_raveman5:

http://mpvideo.qpic.cn/0bf2wiaaeaaavyaje5nf2rpfbmwdakzaaaqa.f10002.mp4?dis_k=6955068bbcf8ca0a5ed765c594614a94&dis_t=1588996475

Cuju_vs_raveman-selfplay-9:

http://mpvideo.qpic.cn/0bf2kqaakaaaomajkeffszpfavgdavkaabia.f10002.mp4?dis_k=4edeb24958a1d5569f2f8884e34566c8&dis_t=1588996475 欢迎支持或加入我们:)

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2020-04-26,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 CreateAMind 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档