专栏首页ATYUN订阅号Facebook通过教机器人自学走路,推进发展更灵活的AI系统

Facebook通过教机器人自学走路,推进发展更灵活的AI系统

编译 | bie管我叫啥

发布 | ATYUN订阅号

机器人技术为推进人工智能提供了重要机会,因为教机器独立学习将有助于在其他场景中开发更有能力和更灵活的AI系统。与各种机器人合作,Facebook AI研究人员正在探索新技术,以突破人工智能的界限。

做这项工作很复杂,数据更嘈杂,条件变化更大且不确定,实验还有额外的时间限制(因为在学习时不能加速模拟)。这些问题并不简单,但是它们为AI提供了有用的测试用例。

与其他人工智能研究领域一样,在机器人领域的大部分工作都集中在自我监督上,其中系统直接从原始数据中学习(而不是从特定任务的特定结构化训练数据中学习),因此它们可以适应新任务和新任务情况。

教机器人自学走路

为了在机器人技术中做到这一点,团队正在推进诸如基于模型的强化学习(RL)之类的技术,以使机器人能够使用来自传感器的直接输入通过反复试验来自学。这里强调的项目展示了使用这些自我监督的学习方法来解决这一领域中最基本的挑战:开发可以四处移动并探索周围环境,并操纵遇到的物体的机器人。

这项工作将导致更强大的机器人,但更重要的是,它将使人工智能可以更有效地学习,更好地推广到新的应用程序。

为了突破机器如何独立学习的极限,团队正在开发基于模型的RL方法,使六足机器人能够学会走路,而不需要特定任务的信息或训练。

机器人从头开始学习,没有关于其环境或物理能力的信息,然后它使用数据有效的RL算法来学习实现期望结果的控制器,例如向前移动。在收集信息时,模型会优化奖励并随着时间的推移改善其性能。

学习走路是很有挑战性的,因为机器人必须在它的传感器的帮助下,比如在它六条腿的每个关节上的传感器(因为它的脚上没有传感器),推断出它在空间中的平衡、位置和方向。这些传感器是有噪声的,使得这种估计很困难并且容易出错。

我们的目标是减少机器人学习走路所需的互动次数,因此只需几个小时而不是几天或几周。技术包括贝叶斯优化以及基于模型的RL,旨在推广用于各种不同的机器人和环境。除了机器人技术之外,它们还可以帮助提高RL的样品效率,例如A / B测试或任务调度。

利用好奇心更有效地学习

好奇心是人类学习的核心动力,好奇的AI系统因探索和尝试新事物以及实现特定目标而获得奖励。虽然以前的类似系统通常会随机地探索它们的环境,但我们会以结构化的方式进行探索,寻求通过了解周围环境来满足其好奇心,从而减少模型的不确定性。我们已经成功地将这种技术应用于模拟和真实世界的机器人手臂。

我们的方法不同于其他好奇心驱动的机器人研究,因为我们明确优化了解决不确定性的行动。为了探索动态模型的不确定部分的动作产生更高的回报,我们试图将模型预测的方差包括在奖励函数评估中。

系统意识到其模型的不确定性并优化动作序列,以最大化奖励(实现期望的任务)并减少模型的不确定性,使其能够更好地处理新的任务和条件。它可以生成更多种类的新数据并更快地学习,在某些情况下,可以进行数十次迭代,而不是数百次或数千次。

研究表明,寻求解决不确定性实际上可以帮助机器人更快地完成任务。模型也能更好地推广到新任务中。

虽然探索一个环境可能比只专注于特定目标更有效,这似乎违反直觉,但这种以好奇心为驱动的行为可以帮助机器人避免被困或卡住。

我们希望这项研究能够帮助创建在不确定环境中更灵活地响应并学习新任务的系统。这有助于进行结构化探索,以便更快、更有效地学习现实世界中的其他RL任务,并帮助开发将不确定性纳入其他模型的新方法。

通过触觉传感学习

机器人通常主要依靠计算机视觉,但触摸也是一个重要而复杂的研究领域。例如,给定特定的操纵任务,如果物体被遮挡,机器人可以使用触觉感测来完成任务。

我们与加州大学伯克利分校的研究人员合作,开发了一种新的触摸学习方法,通过自我监督学习实现新目标,无需任务专用训练数据。然后可以通过分配新目标,使用此模型来确定要采取的最佳操作顺序。

我们采用了最初为视频输入开发的预测模型,并将其用于优化基于深度模型的控制策略,这些策略直接对原始数据进行操作,在本例中,原始数据由高分辨率触觉传感器提供的高维地图组成。研究表明,通过与环境的多种自我监督的探索性互动,可以完全学习预测模型而无需奖励。

使用此视频预测模型,机器人能够完成一系列复杂的触觉任务:滚动球,移动操纵杆,以及识别20面模具的右侧面。该模型的成功表明了使用视频预测模型创建系统的承诺,这些系统可以了解环境对触摸的反应。

这项研究还为探索多模式学习创造了新的途径,这对于广泛的人工智能研究非常重要,例如开发系统以更好地理解不同模式的内容。

如果我们想要更接近能够像人类那样思考、计划和推理的机器,那么就需要构建能够在数字世界之外的许多场景中自学的人工智能系统。

机器人技术是人工智能长期研究的重点,以上展示的例子是Facebook AI中正在进行的众多机器人研究项目中的一些,它们将帮助我们构建可以更有效地学习并更好地推广到新应用程序的AI。

End

推荐阅读

Recommended reading

| 决策树完全指南(下)

| 安静的半监督学习革命,一起清理未标记的数据

| HPE宣布以13亿美元收购超级计算机制造商Cray

专治BUG

据说在看的没有BUG

本文分享自微信公众号 - ATYUN订阅号(atyun_com),作者:关注人工智能的

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-05-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 研究人员将主动推理身体感知应用于类人机器人

    机器人研究人员面临的一个关键挑战是,开发能够在涉及不同程度不确定性的情况下与人类及其周围环境相互作用的系统。

    AiTechYun
  • 2019年中国工业机器人市场回顾

    从2013年一直快速发展的中国工业机器人市场,这两年却踩了“急刹车”。2018年9月,工业机器人产业急转直下,产量持续下滑。可喜的是,经过一年多调整后,机器人产...

    AiTechYun
  • 细思极恐!俄罗斯正式成立“终结者”部队

    这些年陆续的影视作品也暗示过我们,机器人应用于军事武装也是迟早的事情,只要是人类都会希望“审判日”来的越晚越好。

    AiTechYun
  • 独家 | 机器人时代我们如何保住工作

    似乎每一所高中和大学都组建了一个团队参加各种机器人比赛。牛津大学马丁学院进行的一项有争议的研究声称,美国45%的工作将在未来二十年内被自动化代替。焦虑不安的学...

    机器人网
  • 农业机器人加速数据收集,精准农业要爆发了

    由伊利诺斯大学科学家团队开发的TerraSentia作物表型机器人将于3月14日在马里兰州国家港举行的2018年能源创新峰会技术展示会上亮相。 机器人可以在作物...

    机器人网
  • 用Python撸了一个机器人帮我管理群

    昨天花了一天的时间做了个机器人,这机器人不是用来聊天的,只是用来帮我管理群的,还有给大家送资源的,你懂的!

    叫我龙总
  • 工业机器人核心技术全解析

    无论是德国率先提出的“工业4.0”概念,美国推行的“先进制造伙伴关系(AMP)”计划,还是日本正在实施的“智慧制造系统(IMS)”和中国工信部通过的“中国制造2...

    机器人网
  • 假如机器人真的取代护士 会比人类做得更好吗?

    你还记得《超能陆战队》里呆萌的健康机器人大白吗?早些时候,在日本,来自 RIKEN 和 Sumitomo Riko 有限公司的科学家近日研究出一款医院护理机器人...

    机器人网
  • 欧盟的追赶:解读《欧盟机器人研发计划》

    石 月 中国信息通信研究院互联网法律研究中心研究员 2014年6月,欧盟启动了《欧盟机器人研发计划》(SPARC),目标是在工厂、空中、陆地、水下、农...

    腾讯研究院
  • Open AI如何用“自我对局”训练AI机器人变身“摔角王”?

    OpenAI 于近日的一项研究中发现,在一个非明确的技能训练的环境中,AI 能够通过“自我对局”的训练掌握一系列动作技能,比如进攻、躲避、假动作、踢、抓等等。“...

    AI研习社

扫码关注云+社区

领取腾讯云代金券