强化学习模拟水下稳定性,潜水体 15 分钟学会规则

AI 研习社按:这里是,雷锋字幕组编译的 ICRA 2018 系列,带你了解 机器人与自动化 领域的最新研究成果。 原标题 :Reinforcement Learning of Depth Stabilization with a Micro Diving Agent 翻译 | 张哥华 整理 | 凡江

视频内容

强化学习是机器人在与环境交互中解决控制问题的方法。本论文中,我们将要学习基于模型值函数的强化学习方法,这种方法适用于部分机器人和光嵌入式系统。

一开始,我们设计了一个潜水体,它利用强化学习来模拟水下的稳定性。我们还利用试验来展示了一个小的潜水体对任务的学习能力,我们将这个潜水体设置成——它的状态被取决于它的深度和速度。

潜水体包含一个固定容量的的储水仓和一个可变容量的储水仓,后者用于驱动本体。

我们对其深度的稳定性的目标是,控制其可变储水容量以维持一个期望的深度。通过强化学习方法来解决这个控制问题,而不需要有系统先验知识或者是有驱动器动力知识。这种方法的挑战在于未知的流体效应,以及缓慢的非线性变化的驱动器动力。体积调整的时间常数与系统的动力匹配,可变容量储水仓相对于固定容量储水仓也是很小的,所以系统的最大控制力和最大约束力也是很小的。

在状态空间中包含了潜水体的深度和速度,这个图表就展示了其状态空间,在目标深度附近的区域决定了算法学习的区域,在这个分布里包含了 101 个状态。在此区域之外的每一个点都被当做是终止状态。

动作空间包含了两部分:一部分是减少可变储水仓的水量来提供浮力,另一部分增加可变储水仓的水量,来让潜水体算法收到一个损失,这个损失会惩罚潜水体,让其向期望的深度移动。除此之外,如果潜水体到达终止状态的位置,为了通过试验验证强化学习算法,一个小潜水体被设计和制造了出来。它的运行时间大约是 90 分钟,非易失性内存是 512 KB。

我们证明了在一个试验中,潜水体是能够从零学习到关于自身稳定性的规则。在左下角的图表中显示了潜水体在学习区域成功学习的运动轨迹。

视频链接:

https://www.youtube.com/watch?v=F7g3K0PXWX4&t=5s

原文发布于微信公众号 - AI研习社(okweiwu)

原文发表时间:2018-06-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

看硅谷数据工程师如何使用TensorFlow构建、训练和改进RNN

在本文中,我们提供了一个用于训练语音识别的RNN的简短教程,其中包含了GitHub项目链接。 ? 作者:Matthew Rubashkin、Matt Molli...

4284
来自专栏人工智能头条

ACL 2017自然语言处理精选论文解读

1241
来自专栏达观数据

达观数据搜索引擎排序实践(下篇)

机器学习排序 机器学习排序(Machine Learning to rank, 简称MLR) 机器学习排序系统框架 机器学习排序系统一般分为离线学习系统和在线预...

51910
来自专栏Soul Joy Hub

基于Spark的大数据精准营销中搜狗搜索引擎的用户画像挖掘

转载请注明:转载 from http://blog.csdn.net/u011239443/article/details/53735609 from C...

1K3
来自专栏智能算法

各种编程语言的深度学习库整理

来自:CSDN.NET 链接:http://www.csdn.net/article/2015-09-15/2825714(点击尾部阅读原文前往,文章中相关链接...

3475
来自专栏CreateAMind

【前沿跟进】Google, OpenAI提出层次强化学习新思路

1031
来自专栏人工智能头条

Top 50机器学习项目实战总结

4212
来自专栏Petrichor的专栏

论文阅读: DetNet

Face++的Li Zeming大神注意到了现有Detection Network的两大通病:

1052
来自专栏企鹅号快讯

分享一波关于做 Kaggle 比赛,Jdata,天池的经验,看完我这篇就够了

本文作者Jasperyang,毕业于BUPT。本文原载于知乎专栏,AI 研习社授权转载。 Kaggle 的数据挖掘比赛近年来很火,以至于中国兴起了很多很多类似的...

7288
来自专栏AI科技评论

论文|可用于实时应用的启发式搜索

摘要 现有的启发式搜索算法不能在找到完整的解决方案之前采取行动,所以它们不适用于实时应用。因此我们提出了一种极大极小前向搜索(minimax lookahead...

3217

扫码关注云+社区

领取腾讯云代金券