当强化学习遇见泛函分析

随着 DeepMind 公司的崛起,深度学习和强化学习已经成为了人工智能领域的热门研究方向。除了众所周知的 AlphaGo 之外,DeepMind 已经与著名的游戏公司 Blizzard 合作,准备挑战热门的即时战略游戏 StarCraft II。之前 DeepMind 已经成功地使用 Deep Learning 和 Reinforcement Learning 来搭建能够自行玩游戏的人工智能,并且成功挑战了 Atari 的一些游戏。虽然目前还没有成功地使用 AI 来战胜 StarCraft II 的顶尖职业玩家,但是 AI 却能够带给大家无穷的想象力和期待。

那么强化学习到底是什么呢?其实,强化学习其实是一个交叉学科的产物,本质上是为了学会自动进行决策,也就是“Decision Making”的问题。在计算机领域就体现为机器学习算法,在经济学领域就体现为博弈论的研究,在神经学领域体现在理解人类大脑如何做出决策。这一类问题本质上都是一个问题,人为什么能够并且如何做出最优决策。强化学习是一个序列的决策问题,需要选择一系列连续的行为,在这些行为结束之后能够获得最大的收益。一开始并没有任何标签告诉算法应该怎么做,是通过这个持续动作的行为来调整之前的结果。通过不断地持续调整,强化学习算法就能够学习到在什么样的情况下选择什么样的行为可以获得最好的结果。

与机器学习相比,泛函分析已经是数学史上一门传统而经典的学科。泛函分析是分析学的一个分支,其研究的主要对象就是由函数构成的函数空间。它是从变分问题,积分问题,理论物理的研究过程中逐步发展起来的。那么泛函分析是怎么和机器学习中的强化学习结合到一起的呢?本篇文章将会从强化学习的定义出发,一步一步地给读者介绍强化学习的简单概念和基本性质,并且会介绍经典的 Q-Learning 算法。文章的最后一节会介绍泛函分析的一些基本概念,并且使用泛函分析的经典定理 Banach Fixed-Point Theorem 来证明强化学习中 Value Iteration 等算法的收敛性。

原创声明,本文系作者授权云+社区-专栏发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

注水、占坑、瞎掰:起底机器学习学术圈的那些“伪科学”

一边是今年的NIPS迎来了创纪录的8000多篇投稿,一边是李飞飞、Keras框架的作者François Chollet等大佬摊手承认,机器学习发展已进入瓶颈期。

480
来自专栏钱塘大数据

16大类31种好看的可视化图表,图表控们快收藏!

在日常工作中,很多人都会面对一堆数据,却不知道如何更直观地展示它们,或者不知道用什么样的图表能达到更好的展示效果!花了一些时间整理了工作中经常用到的数据图表,希...

3294
来自专栏Vamei实验室

统计01:概述

作者:Vamei 出处:http://www.cnblogs.com/vamei 严禁转载。 

562
来自专栏AI科技大本营的专栏

重磅 | 小米首次公开发表论文:基于注意力机制的端对端语音识别(附论文翻译)

文/CSDN周翔 今年 3 月,雷军在两会的媒体沟通会上表示,“去年年初,小米设立了探索实验室,不久将有重磅级的人工智能产品发布。” 昨日(7 月 26 日)下...

3606
来自专栏机器之心

独家|专访深度好奇创始人吕正东:通向理解之路

机器之心原创 作者:虞喵喵 「理解应该是对应于某一个特定场景下的语用」。 在斯坦福大学计算机科学与语言学教授 Christopher Manning 2015 ...

2654
来自专栏大数据文摘

Uber优步打车:想你所想,知你所达

1525
来自专栏华章科技

数据可视化告诉你机器学习和数据科学哪些语言最火

在做数据分析项目和规划职业生涯的时候,该选择哪一种编程语言?不同职业背景的人的答案都不尽相同。下面是indeed.com对人们在机器学习以及数据科学方面选择的编...

793
来自专栏数据科学与人工智能

【数据挖掘】写给风控新人大数据挖掘基础知识介绍

对企业来,堆积如山的数据无异于一个巨大的宝库。但是如何利用新一代的计算技术和工具来开采数据库中蕴藏的宝藏呢? 在市场需求和技术基础这两个因素都具备的环境下,数据...

2066
来自专栏Vamei实验室

统计01:概述

作者:Vamei 出处:http://www.cnblogs.com/vamei 严禁转载。 

502
来自专栏钱塘大数据

16大类31种好看的可视化图表,图表控们快收藏!

在日常工作中,很多人都会面对一堆数据,却不知道如何更直观地展示它们,或者不知道用什么样的图表能达到更好的展示效果!花了一些时间整理了工作中经常用到的数据图表,希...

3427

扫码关注云+社区