利用好奇心做稀疏反馈任务的学习

AI 科技评论按:近期,Unity 发布了版本 0.4 的机器学习智能体工具包(ML-Agent toolkit v0.4),其中最为突出的新功能是通过额外的基于好奇心的内在激励进行智能体的训练。由于这个新功能在解释时有很多方面需要解开,作者 Arthur Juliani 独立编写了一篇文章进行描述。AI 科技评论把这篇文章编译如下。

在原理上,如果奖励出现的几率不高或稀疏的分布情况下,现在是有更有效的方式让智能体进行环境感知的。这些智能体可以通过使用一种基于对结果好奇的程度进行奖励的方式对这样的环境进行探索。在这篇文章中,作者讲述了这种方式的工作原理并且展现了如何通过使用这种方式解决一个实际的任务,同时与原始版本的强化学习方法进行对比,表现出了这种新方法的优越性。

好奇心驱动的探索

当涉及强化学习时,主要的学习信息以奖励的形式出现:即每次决定做出时,向智能体提供一个标量值。这种奖励通常是由环境自身产生的,并且由环境的创造者进行指定。奖励的范围为(-1.0,+1.0),+1.0的含义为接近目标,而 -1.0 的含义为智能体的这条命死掉了。可以认为这种奖励是外部的,因其从智能体外产生。如果有外部奖励的话,那么一定有内部奖励。与外部奖励不同的是,内部奖励不是由环境提供,而是智能体自己基于一些标准产生的。当然了,不是所有的内部激励都是这样的。内部奖励最终还是希望可以服务于一些目标的,比如改变智能体的行为,并在将来获取更好的外部激励,或者智能体可以接触更多的外部环境。在人类和其他哺乳动物中,追求这些内在奖励常常被称为内在动机,并与我们的情感紧密联系在一起。

强化学习领域的研究者们已经投入了大量的精力来开发良好的系统来为智能体提供内在的奖励,这给他们提供了与我们在自然智能体中找到的动机相似的动机。一种流行的方法是赋予智能体一种好奇心,并根据它周围的世界感到惊讶来奖励它。如果你想一个小婴儿是如何了解这个世界的,它不是在追求任何特定的目标,而是在为新的体验而玩耍和探索 —— 这样你就可以说孩子是有好奇心的。好奇驱动的探索背后的想法是把这种动机灌输给我们的智能体。如果智能体得到奖励,达到令它自己惊喜的状态,那么它将学习到新的探索环境的策略,以找到越来越多的令自己惊喜的状态。通过这种方式,智能体也希望能发现外在的奖励,比如在迷宫中遥远的目标位置,或者稀疏的资源。

作者选择了去年 Deepak Pathak 和他的同事们发布的一份最新论文中的一个具体的方法。它被称为好奇驱动探索自我监督预测,如果你对全部细节的感兴趣话,你可以打开原文链接。在文中,作者公式化了好奇的想法,以一种聪明和可归纳的方式。这种方式建议训练两个独立的神经网络:正向模型和反向模型。反向模型被训练来接受由智能体接收的当前和下一次观测信息,使用单个编码器对它们进行编码,并使用该结果来预测在两次观测的发生之间采取的行动。然后对正向模型进行训练,以获得编码的当前的观测结果和行为,并预测编码的下一观察值。预测和实际编码之间的差异然后被用作内在奖励,并馈送给智能体。较大的差异意味着更大的惊喜,而这又意味着更大的内在回报。

通过同时使用这两个模型,智能体获得的奖励不仅捕获了令智能体觉得惊喜的东西,而且具体地捕获了智能体通过自己的动作而获得了控制的东西。在超级玛丽的游戏中,他们的方法可以使一个没有任何外在奖励的智能体取得进步。下面是他们方法设计的示意图。

本征好奇心模型的示意图。白色方框表示输入;蓝色方框表示神经网络中的层和输出;实心蓝色线条表示网络中的激活方向;绿色虚线表示用于计算损失的对比项目;绿色方框表示本征反馈的计算。

金字塔环境

为了检验好奇心,目前没有一个普通的环境能做到。通过版本 0.3 的机器学习智能体工具包发布的大多数示例环境包含相对密集的奖励,并且不会从好奇或其他探索增强方法中获益。为了把新发现的好奇心放在测试中,作者创造了一个新的稀有奖励环境,叫做金字塔环境。在它里面,只有一个奖励,随机探索很少会让智能体遇到它。在这种环境中,智能体采用类似于以前的一些环境中熟悉的蓝色立方体的形式。代理可以向前或向后移动,然后向左或向右移动,并且可以通过立方体前面的一系列光线投射来访问周围世界的视图。

智能体通过一组射线来观察自己周围的环境

智能体被放入一个包含九个房间的封闭空间中。一个房间包含一个随机放置的开关,其他房间中包含随机放置的不可移动的石头金字塔。当智能体与开关相互作用时,开关从红色变成绿色。随着这种颜色的变化,环境会在某一个房间中的随机位置生成一个新的砖块可以移动的金字塔。在金字塔的顶端有一块金色的砖。当智能体接触到这砖块的时候,它就会收到 +2 外部奖励。这里的有难度的地方是走到新的房间、翻转开关、把塔撞倒的过程里都是没有中间奖励的。智能体必须学会在没有中间帮助的情况下执行这个序列。

用 PPO+ 训练的智能体在碰过按钮之后向金字塔走去

当智能体使用原始版本的近端策略优化(Proximal Policy Optimization, PPO, Unity 环境中默认的强化学习算法)进行训练时,其表现很差,即便在进行 200,000 个步骤的运动之后,结果通常甚至没有比随机产生的结果(平均奖励为-1)更好。(下图)

相反的,通过 PPO 和好奇心驱动的内部奖励共同进行训练的智能体,在多次实验中都可以在 200,000 步内甚至一半时间内解决问题。(下图)

作者还研究了仅用内在奖励信号训练的智能体,尽管他们不学习解决任务,他们学习了一种更为有趣的定性策略,使他们能够在多个房间之间移动;相比之下,在外在奖励作为唯一策略的情况下,智能体仅能在一个房间里转小圈。(下图)

近端策略优化与好奇心策略

如果要使用好奇心策略来帮助在环境中训练智能体的话,使能训练是很简单的。首先,获得最新的机器学习工具包,然后将下面的代码加入到超参数文档中: use_curiosity: true。然后,向之前一样的进行训练。如果使用了 TensorBoard,结果中可以看到许多新的度量被跟踪了。这个过程包含了前向和反向模型损失,以及每个步骤累积的内在奖励。

给予智能体好奇心并不是在所有场景下都适用。特别是如果环境已经包含了一个密集的奖励函数,例如爬虫(Crawler)和沃克(Walker)环境,在大多数动作之后接收到一个非零的奖励,由此可能看不到太多的改进。如果环境只包含稀疏奖励,那么添加内在奖励有可能将这些任务从使用强化学习的不可解改善到容易解决。这尤其适用于当它对简单的奖励(如赢/输或完成/失败)等任务时。

如果你使用好奇心功能,Unity 团队也希望可以听到你的使用反馈。直接发邮件至 ml-agents@unity3d.com或通过Github的问题专栏进行留言~祝训练顺利!

via blogs.unity3d.com,AI 科技评论编译。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2018-07-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

3天学会TensorFlow | 香港科技大学

整理 | 周翔 2015 年底,谷歌开源了内部使用的深度学习框架 TensorFlow。与 Caffe、Torch、MXNet 等框架相比,TensorFlow...

3546
来自专栏AI研习社

利用好奇心做稀疏反馈任务的学习

AI 研习社按:近期,Unity 发布了版本 0.4 的机器学习智能体工具包(ML-Agent toolkit v0.4),其中最为突出的新功能是通过额外的基于...

1002
来自专栏量子位

AI进军B-Box界:输入20秒任意声音,还你一段定制的B-Box演奏

和人类玩家不同,只要你不打断AI B-Boxer Vid,它就永远不会累。而且它还有一个特殊技能:可以用任何声音合成B-Box。

841
来自专栏PPV课数据科学社区

机器学习项目中常见的误区

在最近的一次报告中,Ben Hamner向我们介绍了他和他的同事在Kaggle比赛中看到的一些机器学习项目的常见误区。 这个报告于2014年2月在Strate举...

3406
来自专栏Material Design组件

About Face 4 第三章(下)构造人物模型

27912
来自专栏AI研习社

博客 | DeepMind 开源TRFL,又一个强化学习复现、创新好帮手

雷锋网 AI 科技评论按:继今年 8 月谷歌开源发布了专为学术研究人员设计的简单但鲁棒的强化学习框架「多巴胺」(Dopamine)之后,早已被谷歌母公司收购但保...

1164
来自专栏专知

【论文推荐】最新六篇用户建模精选论文推荐—深度多模态融合、跨平台、时序性RNN、ATRank、嵌入因子分解、异构信息网络

【导读】专知内容组整理了最近六篇用户建模相关文章,为大家进行介绍,欢迎查看! 1. User Profiling through Deep Multimodal...

8746
来自专栏新智元

MIT开发听觉神经网络模型,学会从2秒片段识别音乐类型

1664
来自专栏AI科技评论

学界 | 清华与迈阿密大学独家解析:更新了朋友圈和微博动态,好友何时会点赞评论?

AI科技评论按:本文由清华大学媒体与网络实验室以及迈阿密大学物理系共同合作完成,作者包括:余林韵(清华大学计算机系博士生,已毕业加入今日头条人工智能实验室)、崔...

39912
来自专栏AI科技评论

Andrej Karpathy发文谈神经网络:这不仅仅是分类器,这是一种新的软件开发思想

AI科技评论按:有越来越多的传统编程语言(C、C++、Java)等程序员开始学习机器学习/深度学习,而对机器学习/深度学习的研究人员来说,编程也是必备技巧。那么...

3285

扫码关注云+社区

领取腾讯云代金券