Berkeley用TMD策略制定计划,实现骑行任务

AiTechYun

编辑:chux

如果你打算从UC Berkeley骑行到金门大桥(Golden Gate Bridge),这样骑行20英里也不错,但问题是,你从没骑过自行车!更棘手的是,你初来乍到,对这里还不熟,手里只有一份OL的时尚地图,那么你要怎么做?

首先来解决如何学会骑自行车的问题。其中一个方法是进行大量研究和计划,阅读关于骑行的书籍,研究物理学和解剖学,探索每次动作时你需要做出的不同的肌肉运动,等等。这种方法看似可行,然而骑过自行车的人都知道这种方法只是纸上谈兵。只有一种方法可行,那就是试错。像骑行这样的任务太过复杂,空想计划是不可行的。

一旦你学会了骑行,那么要怎样到达目的地呢?你可以再次利用试错法,随机进行转弯看是否能抵达Golden Gate Bridge,然而这一方法需要花费太多时间。对这样的问题来说,计划则速度更快,不需太多的实际经验和试错。用强化学习的术语来表达就是sample-efficient。

通过试错法学习技巧

其他情况,事先计划好会更好

这个想法虽然简单,但强调了人类智能的一些重要方面。对于某些任务,我们使用试错法,而对于其他任务,我们使用的是计划法。在强化学习(RL)中也出现了类似的现象。用RL的术语来说,就是实证结果表明,一些任务更适合model-free(试错)方法,而另一些则更适合model-based(计划)方法。

然而,用骑行进行类比也强调了这两个系统并不是完全独立的。学习骑行就是试错,这种说法太过夸张。事实上,当你通过试错法来学习骑车时,你也会采取一些计划。也许最初的计划是“不要摔倒”。当你更熟练之后,你会设立更高的目标,比如“向前骑两米不摔倒”。最终,你精通了骑行技巧,然后开始设定抽象的计划(骑到这条路的尽头),这样你只需要不断计划,而无需再拘泥于骑行的细节。这一过程便是从model-free(试错)策略到model-based(计划)策略的逐步过渡。如果我们通过开发人工智能算法,特别是RL算法,来模拟这种行为,那么可能会产生一种算法,既能通过早期使用试误法较好地完成任务,又能在之后转换到计划法来实现更抽象的目标,体现sample efficient。

这篇文章会用到temporal difference model(TDM),是一种RL算法,可以将model-free平稳过渡到model-based RL。在描述TDM之前,我们先来看看典型的基于模型的RL算法是如何工作的。

model-based RL

在强化学习中,存在许多状态空间S和动作空间A。如果时间是t,那么我们所处的状态和采取的动作分别用st∈S和at∈A来表示,根据动态模型f:S×A↦S,我们转换到新的状态就可表示为st+1=f(st,at) 。目标是最大化已有状态总结的回报:∑T−1t=1r(st,a,st+1)。model-based RL算法假设你已得到得到(或学会)动力模型f。根据这一模型,可用各种model-based算法。在这篇文章中,我们执行以下的optimization方法,以选择一系列动作和状态,使回报最大化。

optimization方法选择一系列动作和状态,使回报最大化,同时确保轨迹是可行的。在这里,可行的意思是状态与动作直到下一个状态的转化都有效。例如下面的图片,如果你从状态st和动作at开始,只有最上一列的st+1会使转化可行。

如果你忽略掉物理学,计划骑行到Golden Gate Bridge会更简单些。然而,model-based最优化的问题约束确保仅有的轨迹(如最上一列)可被输出。下面两列轨迹可能会得到高回报,不过都是不可行的。

在我们的自行车问题中,最优化可能会使从Berkeley(右上)到Golden Gate Bridge(中左)的骑行计划看起来如下图:

Optimization问题的计划(状态和动作)输出实例

虽然理念很好,但这个计划并不现实。model-based方法利用模型f(s,a)预测接下来的每一个状态。在机器人学中,时间步长通常对应十分之一秒或百分之一秒。所以一个更现实的计划可能如下图所示:

一个更为现实的计划

如果思考一下我们在日常生活中是如何计划的,就会意识到我们会用更多时间计划抽象术语。我们会制定长期计划如“我要骑到这条路的尽头”,而不是计划在下个十分之一秒具体骑到哪个位置。此外,一旦学会如何骑行,我们就只会做这些抽象的计划。正如上文所讨论的那样,我们需要一些方法,用来(1)通过试错法开展学习,(2)提供一种机制,逐步提高我们用于计划的抽象级别。为了实现这些,我们引进了temporal difference模型。

TDM

我们将TDM写作Q(s,a,sg,τ)*,这是一个函数,我们所处的状态和采取给定状态为st∈S,动作为at∈A,目标状态为sg∈S,以此预测智能体如何在τ 长度的时间步长内完成目标。也就是说用TDM来回答“如果我想在30分钟内骑行到San Francisco,我能距离终点多远?”对于机器人学来说,一个测量接近程度的方法就是Euclidean distance。

*我们称它为temporal difference model,因为我们用时间差异学习来训练Q,并使用Q作为模型。

经过固定的时间后,TDM预测你离目的地的距离(Golden Gate Bridge)。骑行30分钟,也许你只能到达上图中灰色自行车的位置。在这种情况下,灰线代表TDM应该预测的距离。

对于那些熟悉强化学习的人来说,在finite-horizon MDP中,TDM可以被视为一个目标已定的Q函数。因为TDM也是Q函数,我们可以用model-free(试错法)算法训练它。我们用deep deterministic policy gradient(DDPG)来训练TDM,并对目标和时间范围进行追溯并重新标记,以提高我们学习算法的sample efficiency。理论上,任何Q-learning算法都可用于训练TDM,不过我们发现这种最有效率。

用TDM制定计划

一旦我们训练了TDM,那我们如何将它用于制定计划?我们可以根据以下的optimization来制定计划:

这类似于model-based的构想。选择一系列使回报最大化且可行的动作和状态。关键差异在于我们只能每k个时间步长计划一次,而不是每个时间步长都计划一次。Q(st,at,st+K,K)=0中存在的约束强制了轨道的可行性。视觉上来说并不是明确计划K步以及如下动作:

而是直接计划K个时间步长,如下图:

随着K的增加,我们逐渐得到越来越多暂时的抽象计划。在K时间步长中,我们用model-free approach采取行动,从而使model-free策略将如何达到终点的细节抽象化。对于骑行问题以及足够大的K值,通过optimization可以得到如图所示的计划:

model-free计划者可用于选择暂时的抽象目标。可以用model-free算法来实现这些目标。

需要注意的是,这一构想只能每K步优化一次回报。然而,许多任务只考虑某一些状态,比如最终状态(如抵达Golden Gate Bridge),而这一点正适用于各种有趣的任务。

相关研究

在我们之前已有人对model-based和model-free之间的联系进行了研究。Parr ‘08和Boyan ‘99与此研究密切相关,虽然重点只是tabular函数和linear函数approximators。训练目标条件Q函数的想法,是从关于智能体导航和Atari游戏的研究——Sutton ‘11和Schaul ‘15中提取的。最近,我们使用的重新标记的方法是受到了Andrychowicz ‘17研究的启发。

实验

我们用5个模拟的连续控制任务和一个真实的机器人任务测试了TDM。模拟任务是训练机械手臂将圆柱体推到目标位置。下面的示例展示了最终采用的TDM策略以及相关的学习曲线:

上图:任务的TDM策略 下图:学习曲线 蓝线代表TDM(线的位置越低越好)

在学习曲线中,我们画出到目标的最终的距离以及环境样本的数量(越低越好)。我们的模拟将机器人控制在20赫兹,这意味着在现实世界中,50秒对应1千步。这种环境的动态相对容易学习,这意味着model-based的方法应该更胜一筹。正如预期,model-based方法(紫色的线)学习速度更快,大约3千步或者说25分钟,而且表现也很好。TDM方法(蓝色曲线)学习速度也很快,大约2千步,17分钟。model-free DDPG(没有TDM参与)基线最终解决了问题,但是需要更多的训练样本。TDM方法学习如此之快的一个原因是,其效果相当于套用了model-based方法。

当涉及更需要大量动力的移动任务时,model-free方法的优势就明显多了。其中一项移动任务是训练一个四足机器人,让它移动到一个特定的位置。下图展示了TDM策略与其学习曲线。

上图:移动任务的TDM策略 下图:学习曲线 蓝线代表TDM(线的位置越低越好)

就像我们使用试错法而不是计划去学习骑自行车,我们期望model-free方法在移动任务上比model-based方法表现更好。这正是我们在学习曲线中看到的:model-based方法表现更好。model-free DDPG方法学习速度更慢,但是最终还是胜过了model-based方法。TDM则速度又快表现又好。

未来发展方向

TDM为model-free到model-based控制的转换,提供了形式主义和实用算法。然而,未来还有很多研究要做。比如,推导假定环境和政策是确定的。事实上,大多数环境都是随机的。即使它们是确定的,在现实中还是有必须使用随机政策的理由。TDM扩展到这一设定有助于将TDM迁移到更实际的环境中。另一个想法是将TDM与我们在文中使用的model-based planning optimization算法结合起来。最后,我们很期待将TDM与现实中的机器人结合,应用到更多有挑战性的任务中,比如移动任务,操纵任务,当然也包括骑行到Golden Gate Bridge任务。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2018-04-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏深度学习自然语言处理

如何具体学习计算机视觉

这两年,计算机视觉似乎火了起来,计算机视觉的黄金时代真的到来了吗?生物医学、机械自动化、土木建筑等好多专业的学生都开始研究其在各自领域的应用,一个视觉交流群里三...

24030
来自专栏AI研习社

有没有必要把机器学习算法自己实现一遍?

哈哈哈哈,我觉得很多人都有这个疑问吧。机器学习好高大上,多么牛逼的东西,光是看公式就已经眼花缭乱了,总觉得自己该全部去实现一遍,有的时候太懒,有的时候觉得能力不...

40250
来自专栏大数据文摘

机器也有品味:谷歌最新算法让街景图具有专业摄影师审美

16820
来自专栏人工智能头条

诺亚神经响应机NRM模型:深度学习改变自然语言对话

20050
来自专栏AI科技评论

干货 | 2018 机器阅读理解技术竞赛冠军 Naturali 分享问答系统新思路

AI 科技评论按:7 月 28 日,由中国中文信息学会和中国计算机学会联合举办的第三届语言与智能高峰论坛于北京语言大学举办,Naturali 奇点机智团队作为 ...

12230
来自专栏人工智能头条

【无人驾驶技术系列】光学雷达(LiDAR)在无人驾驶技术中的应用

33650
来自专栏AI科技评论

【深度】Nature:我们能打开人工智能的“黑箱”吗?

编者按:人工智能无处不在。但是在科学家信任人工智能之前,他们首先应该了解这些人工智能机器是如何运作的,这也就是文中所提到的“黑箱”问题。在控制论中,通常把所不知...

35460
来自专栏TensorFlow从0到N

TensorFlow从0到1 - 3 - 人类学习的启示

? 机器学习 上一篇TensorFlow的内核基础介绍了TF Core中的基本构造块,在介绍其强大的API之前,我们需要先明了TF所要解决的核心问题:机器学习...

34760
来自专栏新智元

MIT非视线成像“透视相机”:隔墙观物、影中窥人!

2012年,MIT计算机视觉科学家安东尼奥·托拉尔巴(Antonio Torralba)在西班牙海岸度假时,发现他酒店房间墙壁上的杂散阴影似乎不是由任何东西投射...

17950
来自专栏CVer

从零基础到BAT算法岗SP——秋招准备攻略

今天故事的主人公是Amusi的一位朋友:二喵。二喵大佬曾分享了一篇诚意满满的秋招心得体会篇,详情请戳:从零基础到BAT算法岗SP——我的秋招之路。

32520

扫码关注云+社区

领取腾讯云代金券