DeepMind 让计算“做梦”改善机器学习（附论文下载）

【新智元导读】在通用人工智能的研究上，DeepMind一直在努力。科幻小说家Philip Dick曾在他的经典小说中提到，机器人不太可能会做梦。但DeepMind最新研发出的人工智能系统却实现了机器人做梦，并且成功完成在迷宫中找到苹果的任务

DeepMind11月17日发表论文，其机器学习系统的速度和性能上实现了飞跃。最新的人工智能系统至少在比喻的意义上能够做梦。

科幻小说家Philip Dick曾在他的经典小说中提到，机器人不太可能会做梦。但Google旗下公司DeepMind最新研发出的人工智能系统却实现了机器人做梦，这款人工智能系统成功完成了在迷宫中找到苹果的任务。

DeepMind研究人员本周四发布的一篇文章中提到，这一成果使他们的机器学习系统在速度和性能上有了质的飞跃。系统成功嵌入了类似于动物做梦的功能属性。

新系统名为无监督式加强辅助学习机制（UnsupervisedReinforcement and Auxiliary Learning agent）或Unreal的新系统，能够很快学会三维迷宫游戏Labyrinth的玩法，速度比现在最高级的AI软件还要快10倍，其水平已经达到人类玩家的87%。 DeepMind研究人员还表示，该系统训练速度快、效率高，其数据有效性也很高。并且缩短了训练时间，可以更快地尝试新的玩法。

苹果迷宫

游戏采用DeepMind研发的游戏环境Labyrinth，设计采用的是非常有名的视频游戏系列Quake风格。游戏中的机器在迷宫中导航路线，收集路线上遇到的苹果得分。

这种类型的游戏是人工智能研究的重要领域，比如游戏中得分机率的设定。研究人员让Unreal在游戏中进行重复操作，集中记录下每次得分的点，这就跟动物做梦是一样的。

研究人员将Unreal的运行标准最大化，而不仅仅是得全分。其中一个必要标准就是视觉环境会随着不同的表现行为而发生改变，这是为了研究行为是怎样影响视觉的。这就跟新生儿学习控制外在环境获得回报是一样的，比如经常暴露在视觉冲击下，如闪亮、多彩的东西，他们就会表现出开心和兴趣。

研究团队中的Jaderberg andMnih在文章中也表示，将Unreal或其他类似的系统应用到实际中还为时尚早。

游戏冠军

从国际象棋到像美国Jeopardy那样的问答类竞赛，都在人工智能研究起到了程碑式的重要作用。DeepMind在今年早些时候研发的AlphaGo战胜了围棋世界冠军，成为人工智能领域的一大突破。公司还于月初发布了一款界面，将暴雪公司的科幻视频游戏“星际争霸II”应用到机器学习软件中。星际争霸将是AI研究未来重要的研究目标，因为游戏中的很多场景都非常接近“真实的世界混乱”。Oriol表示，Unreal将致力于提高这款游戏的性能。

游戏高手

DeepMind的Unreal系统还击败了公司现有的所有软件，在Atari公司的57款游戏（包括Breakout）的测试中，Unreal速度更快，得分更高。研究人员表示，Unreal在这些游戏中的表现成绩超过顶级人类玩家880%，而DeepMind原来研制的AI软件只超过了人类玩家的853%。

即使是Montezuma’sRevenge这样最复杂的Atari游戏中，新系统在性能表现方面也实现了更大的飞跃。他们表示，旧的AI系统在游戏中得分是0，而Unreal则获得了3000分的高分，足足比人类顶级玩家的最好成绩还要高出一半。

原文链接：https://www.bloomberg.com/news/articles/2016-11-17/google-deepmind-gives-computer-dreams-to-improve-learning