当强化学习遇见泛函分析

随着 DeepMind 公司的崛起,深度学习和强化学习已经成为了人工智能领域的热门研究方向。除了众所周知的 AlphaGo 之外,DeepMind 已经与著名的游戏公司 Blizzard 合作,准备挑战热门的即时战略游戏 StarCraft II。之前 DeepMind 已经成功地使用 Deep Learning 和 Reinforcement Learning 来搭建能够自行玩游戏的人工智能,并且成功挑战了 Atari 的一些游戏。虽然目前还没有成功地使用 AI 来战胜 StarCraft II 的顶尖职业玩家,但是 AI 却能够带给大家无穷的想象力和期待。

那么强化学习到底是什么呢?其实,强化学习其实是一个交叉学科的产物,本质上是为了学会自动进行决策,也就是“Decision Making”的问题。在计算机领域就体现为机器学习算法,在经济学领域就体现为博弈论的研究,在神经学领域体现在理解人类大脑如何做出决策。这一类问题本质上都是一个问题,人为什么能够并且如何做出最优决策。强化学习是一个序列的决策问题,需要选择一系列连续的行为,在这些行为结束之后能够获得最大的收益。一开始并没有任何标签告诉算法应该怎么做,是通过这个持续动作的行为来调整之前的结果。通过不断地持续调整,强化学习算法就能够学习到在什么样的情况下选择什么样的行为可以获得最好的结果。

与机器学习相比,泛函分析已经是数学史上一门传统而经典的学科。泛函分析是分析学的一个分支,其研究的主要对象就是由函数构成的函数空间。它是从变分问题,积分问题,理论物理的研究过程中逐步发展起来的。那么泛函分析是怎么和机器学习中的强化学习结合到一起的呢?本篇文章将会从强化学习的定义出发,一步一步地给读者介绍强化学习的简单概念和基本性质,并且会介绍经典的 Q-Learning 算法。文章的最后一节会介绍泛函分析的一些基本概念,并且使用泛函分析的经典定理 Banach Fixed-Point Theorem 来证明强化学习中 Value Iteration 等算法的收敛性。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

日本科学家的AI读心术,解码脑电波,还原人眼所见

982
来自专栏AI科技评论

活动 | 中国自动化学会「深度与宽度强化学习」智能自动化学科前沿讲习班

中国自动化学会围绕「深度与宽度强化学习」这一主题,在中科院自动化所成功举办第 5 期智能自动化学科前沿讲习班。

985
来自专栏新智元

Deepmind“好奇心”强化学习新突破!改变奖励机制,让智能体不再“兜圈子”

强化学习是机器学习中最活跃的研究领域之一,在该领域的研究环境下,人工智能体(agent)做到正确的事情时会获得积极的奖励,否则获得负面的奖励。

793
来自专栏程序人生 阅读快乐

统一建模语言(UML)参考手册——基本概念

《统一建模语言UML》是学习面向软件分析与设计的和应用UML 2.0的教材。它不仅详细阐述了UML在建模活动中的基本应用方法,而且对UML的建模图示在软件生命周...

441
来自专栏大数据文摘

让冰冷的机器看懂这个多彩的世界

2829
来自专栏AI科技评论

观点 | 玩转「马里奥」的算法能搞定「口袋妖怪」吗?

AI 科技评论:现在机器人玩游戏的水平甚至已经超过了人类,然而对于不同的游戏,一个算法是否全部搞定呢?软件开发者 Shayaan Jagtap 就以「马里奥」这...

642
来自专栏AI科技评论

李飞飞:在物体识别之后,计算机视觉还要多久才能理解这个世界?

AI科技评论按:9 月 26 日,机器人领域的顶级学术会议 IROS 2017 进入第二日。上午,著名华人计算机视觉专家、斯坦福副教授李飞飞,在温哥华会议中心面...

2866
来自专栏人工智能头条

像教光学一样在高中教深度学习?怼过LeCun的Google大牛认为这事有出路

1163
来自专栏机器之心

专访 | CVPR PAMI青年研究员奖得主Andreas Geiger:自动驾驶中的计算机视觉

在今年 6 月召开的 CVPR2018 上,德国图宾根大学及马克斯·普朗克研究所(MPI)自动视觉组负责人 Andreas Geiger 教授摘得了 PAMI ...

501
来自专栏量子位

Hinton反思新作:我说反向传播不好,但还是没谁能颠覆它

1133

扫码关注云+社区