[AI新知] Google大脑开源足球游戏增强学习环境

导读

教AI踢足球！进行足球比赛所需要掌握的传球、防守等技巧与决策能力，对于增强学习技术来说是一大挑战

Google大脑在GitHub上开源了足球人工智慧研究专案Google Research Football，这是一个研究增强学习的环境，目标是让人工智慧代理掌握足球这项运动，能让代理人控制游戏中的足球运动员，学习互相传球，或是进行防守等足球技巧。

增强学习在人工智慧研究领域是热门的技术，已经被用于解决许多复杂问题上，像是机器人或是自动驾驶等应用。而将增强学习用于游戏中，能够加速增强学习技术的发展，从较早期与人类对弈的AlphaGo，到更复杂的即时战略游戏并与人类对战，像是OpenAI在游戏Dota 2中开发OpenAI Five，与人类玩家打得平分秋色，以及近期Deepmind开发的人工智慧AlphaStar，在星海争霸 2中惨电职业玩家。

游戏提供了安全且可重复的试验环境，让开发者快速的测试想法，而现在Google释出的Research Football环境，则提供研究人员更有挑战性的环境，Google提到，足球游戏对于人工智慧是更有挑战性的主题，因为足球需要在短期控制的能力、学习像是传球之类的概念，和更困难的战术之间取得平衡。

Google Research Football环境由三个主要部分组成，包含了高度最佳化的游戏引擎称足球引擎（Football Engine），还有称为足球基准（Football Benchmarks）的一系列具挑战性的研究问题，以及足球学院（Football Academy）提供难度渐增的增强学习情境。Football Engine能根据两支球队的输入动作，模拟完整的足球比赛，像是进球、犯规或是角球等各种情况，其采用最佳化的C++开发而成，可在一般的电脑上运作，使用六核心电脑运算，每天约可模拟球员移动2,500万步。

这个Football Engine能良好地支援增强学习训练，让代理人在不同的状态中进行学习，这些状态包括表达球员位置的语意等，并且为了让研究人员研究随机性对增强学习的影响，Football Engine预设启用随机模式，当然开发者也可以自行选用确定性模式进行实验。Football Engine开箱即用，而且支援受广泛使用的OpenAI Gym API。

Google根据Football Engine的增强学习研究，提出了一系列基准问题，根据对手的实力不同，分为三个版本分别是简单、终极以及困难。Google提供了两种热门的演算法DQN与IMPALA，让开发人员作为参照，Google提到，简单基准适合应用单一机器的演算法，而困难基准则是由分散式深度学习演算法来处理。

足球学院提供各种难度的场景，让研究人员实现新的研究想法，以测试更高阶像是传球的概念，并从难度逐渐提升的场景中学习，习得快速在球员间快速传球的技巧，或是反击等技巧，Google提到，在Google Research Football环境中，只要使用简单的API，研究人员就能够让代理学习解决各种问题。

Google Research Football环境提供了一个深度学习研究的环境，Google提到，开发人员可以把Football Benchmark以及Football Academy想像成互动环境中固定的一部分，待代理人获得足够训练后，就能加入动态另一方进行对战，适应对方的动态行动以及战略，进行更有挑战性的研究。

GitHub地址：https://github.com/google-research/football

获取最新Flink、AI资讯，可长按以下二维码关注公众号