Deepmind:让AI学会在没有地图的城市中导航

AiTechYun

编辑:nanan

在你童年时你是如何学会去朋友家、学校或者小卖部的?也许你不需要地图,只是简单地记住沿途街道的外观和转弯处就行。随着你逐渐探索周边的街区,你变得更加自信,掌握了自己的位置,并学习了新的、更加复杂的路。你也许会短暂地迷路,但当你看到地标就会再次找回去,或者甚至通过太阳找到方向。

导航是重要的认知任务,它可以使人类和动物在复杂的世界中无需借助地图,就可实现长途跋涉。这种远程导航可以同时支持自我定位( self-localisation,指自己所在的位置)和目标表述(我要去的地方)。

为了学习在没有地图的城市中进行导航,我们提供了一个交互式导航环境,该环境使用来自Google街景视图的第一人称视角照片,并游戏化该环境以训练AI。作为街景图像的标准,人脸和车牌已经进行了模糊化,无法进行识别。我们建立一个基于神经网络的人工智能体,学习使用视觉信息(来自街景视图图像的像素)在多个城市中导航。请注意,这项研究是关于一般导航而非驾驶,我们没有使用交通信息,也没有尝试对车辆控制进行建模。

我们的智能体在多种环境中进行导航,无需访问环境的地图。

当智能体到达目标目的地(例如,指定为经纬度坐标)时,智能体就会得到奖励,就像一位不需要凭借地图,无限送货的快递员一样。随着时间的推移,智能体学会以这种方式跨越整个城市。我们还证明,我们的智能体可以在多个城市学习这个任务,然后很好地适应一个新的城市。

智能体在巴黎训练的动图。图像与城市地图叠加,目标位置(红色),智能体位置和视野(绿色)。注意,智能体只能看到目标位置的经纬度坐标,看不到地图。

在不建立地图的情况下学会导航

我们没有利用精确绘图和探测的传统方法。我们的方法是让智能体学习像人类一样只使用视觉观察的方式进行导航,而不借助于地图,GPS定位或其他辅助工具。我们构建了一个神经网络智能体,根据从环境中观察到的输入图像,预测它应该在该环境中的下一步行动。我们使用深度强化学习进行端到端的训练,类似于最近的两篇论文(如下)。

论文:https://arxiv.org/pdf/1611.03673

论文:https://arxiv.org/pdf/1611.05397.pdf

与那些在小型模拟迷宫环境下进行的研究不同,我们利用城市的真实世界数据,包括伦敦,巴黎和纽约市的复杂交叉路口,人行道,隧道和各种布局。此外,我们使用的方法支持特定的城市学习和优化以及通用的、可迁移的导航行为。

模块化的神经网络结构,可以迁移到新的城市

我们智能体内部的神经网络由三部分组成:1.可以处理图像和提取视觉特征的卷积网络,2.特定区域的RNN,其隐含任务是记住环境,并学习智能体的当前位置和目标的位置的表示,3.产生智能体行为导航策略的场景不变的RNN。特定区域的模块被设计为可替换,并且如其名称所示,对于智能体导航的每个城市都是唯一的,而视觉模块和策略模块可以是区域不变的。

CityNav架构(a),MultiCityNav架构和每个城市的特定区域(b)以及当智能体适应新城市时的训练和转移过程的图解(c)。

就像在Google街景界面中一样,智能体可以在适当的位置转弯,或者在可能的情况下前进到下一个全景。与谷歌地图和街景环境不同的是,智能体不会看到小箭头,本地或全局地图,或着名的Pegman,它需要学会区分开放道路和人行道。目标目的地可能在现实世界中距离数公里,并且需要智能体穿过数百个全景图才能到达它们。

我们证明了,我们提出的这种方法可以提供一种将知识迁移到新城市的机制。与人类一样,当我们的智能体访问一个新的城市时,我们会期望它必须学习一组新的地标,但不必重新学习它的视觉表现或其行为(例如,沿着街道前进点或在十字路口转弯)。因此,使用MultiCity架构,我们首先在许多城市进行迅雷,然后冻结策略网络和视觉卷积网络,并在一个新城市中只建立一个新的特定区域路径。这种方法使智能体能够获得新的知识,并且不会忘记它已经学到的东西,类似于渐进式神经网络(progressive neural networks)架构。

这项研究中使用了曼哈顿的五个区域。

研究导航是研究和开发人工智能的基础,而且尝试在人工智能体中复制导航也可以帮助科学家了解其生物性基础。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2018-04-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

干货丨3分钟了解今日头条推荐算法原理(附视频+PPT)

4174
来自专栏机器学习算法与Python学习

今日头条推荐算法详解(PDF下载)

源 | AI研习社 编辑 | 昱良 内容较长 点击阅读原文即可下载 ? 今日头条资深算法架构师曹欢欢: ? 本次分享将主要介绍今日头条推荐系统概览以及内容分析、...

2.7K10
来自专栏大数据文摘

数据也会说谎:常见的数据造假三种形态!

20410
来自专栏华章科技

干货请收好:终于有人把用户画像的流程、方法讲明白了

导读:用户画像将产品设计的焦点放在目标用户的动机和行为上,从而避免产品设计人员草率地代表用户。产品设计人员经常不自觉的把自己当作用户代表,根据自己的需求设计产品...

7584
来自专栏计算机视觉战队

人工智能在《LOL&王者荣耀》游戏中的角色

近期LOL和王者荣耀游戏已经充斥着真个朋友圈,但是谁又知道在火热的游戏进行中,又有一批批IT男在完成另一项重要的任务,那就是利用深度学习的知识去完成游戏直播的智...

1886
来自专栏非著名程序员

今日头条算法原理详解(全)

本次分享将主要介绍今日头条推荐系统概览以及内容分析、用户标签、评估分析,内容安全等原理。

1715
来自专栏CDA数据分析师

CDA三级数据科学家精英计划究竟讲些什么内容?

在大数据和机器学习的时代,有一种职业脱颖而出——数据科学家。数据科学家在近年来备受追捧,也有越来越多的人想投身数据科学领域。

1854
来自专栏人工智能快报

IBM正在研制通用型深度学习芯片

深度学习领域仍在不断发展,特别地,专家们认识到如果芯片能够使用低精度的计算方式得出近似答案,神经网络就可以用很少的资源完成大量的计算。这在移动设备和其他功率受限...

1132
来自专栏人工智能头条

贾扬清:希望Caffe成为深度学习领域的Hadoop

3804
来自专栏DT数据侠

海量游戏、影视究竟哪部才是你的菜?交给这个推荐系统帮你选

在我们生活的这个时代,每周都有大量的新游戏、电影和剧集问世,追剧、追游戏并不容易,往往需要花费好几个小时浏览各种博客、媒体上的评价才能决定一部作品是否是你的菜。...

930

扫码关注云+社区

领取腾讯云代金券