左右两侧会同时变化使得训练过程不稳定，从而增大回归的难度的问题。目标网络选择将右边部分，即
离散动作与连续动作是相对的概念，一个是可数的，一个是不可数的。 如图 7.1 所示，离散动作和连续动作有几个例子。在 CartPole 环境中，可以有向左推小车、向右推小车两个动作。在 Frozen Lake 环境中，小乌龟可以有上、下、左、右4个动作。在雅达利的 Pong 游戏中，游戏有 6 个按键的动作可以输出。但在实际情况中，我们经常会遇到连续动作空间的情况，也就是输出的动作是不可数的。比如：推小车推力的大小、选择下一时刻方向盘转动的具体角度、给四轴飞行器的4个螺旋桨给的电压的大小。
，但是这样的方法存在很大的局限性。例如，现实中的强化学习任务所面临的状态空间往往是连续的，存在无穷多个状态，在这种情况下，就不能再使用表格对价值函数进行存储。价值函数近似利用函数直接拟合状态价值函数或动作价值函数，降低了对存储空间的要求，有效地解决了这个问题。
本文介绍了强化学习中的马尔科夫决策过程、模型相关的强化学习、模型无关的策略评价、模型无关的策略学习和价值函数近似等概念。作者通过举例来说明这些概念在强化学习中的应用，并提出了针对这些概念的相关算法。最后，作者对强化学习未来的研究方向进行了展望，包括深度强化学习和策略搜索算法等。
深度确定性策略梯度（deep deterministic policy gradient，DDPG）：在连续控制领域经典的强化学习算法，是深度Q网络在处定性”表示其输出的是一个确定的动作，可以用于连续动作环境；“策略梯度”代表的是它用到的是策略网络，并且每步都会更新一次，其是一个单步更新的策略网络。其与深度Q网络都有目标网络和经验回放的技巧，在经验回放部分是一致的，在目标网络的更新上有些许不同。
原因：在普通的Q-Learning中，当状态和动作空间是离散且维数不高的时候可以使用Q-Table来存储每个状态动作对应的Q值，而当状态和动作空间是高维连续时，使用Q-Table不现实。一是因为当问题复杂后状态太多，所需内存太大；二是在这么大的表格中查询对应的状态也是一件很耗时的事情。
即使你不喜欢玩游戏，深度强化学习也很重要。只用看当前使用深度强化学习进行研究的各种功能就知道了：
机器之心原创 作者：Duke Lee 参与：马亚雄、吴攀、吴沁桐、Arac Wu 强化学习在与之相关的研究者中变得越来越流行，尤其是在 DeepMind 被 Google 收购以及 DeepMind 团队在之后的 AlphaGo 上大获成功之后。在本文中，我要回顾一下 David Silver 的演讲。David Silver 目前任职于 Google DeepMind 团队。他的演讲可以帮助我们获得对强化学习（RL）和深度强化学习（Deep RL）的基本理解，这不是一件特别难的事。 David Silve
深度学习的数学指导。 在关于深度强化学习的多系列的第二部分中，我将向你介绍 AI 主体如何学习在具有离散动作空间的环境中表示的有效方法。
AI程序通过Q-learning，可以完成对于一个游戏从无到有的策略学习。其策略，即Q-table是一个由状态(state)和动作(action)组成的表格，里面记载了每个状态对应动作的收益预期。然而基于Q-table的学习却只能处理比较简单的游戏任务。2015年，DeepMind团队在Q-learning基础之上，加入了神经网络(neural network),并命名新的算法叫做Deep Q-learning。出人意料的是，加入所谓的deep后，算法竟有了突破性进展，取得了非凡的成绩。今天我们就要去挖掘这里的Deep所代表的秘密以及其算法成功的原因。
上一次，我们了解了 Q-Learning：一种生成 Q-table 的算法，代理使用它来找到在给定状态下采取的最佳动作。
选自Medium 作者：Thomas Simonini 机器之心编译 参与：Panda 近年来，深度强化学习已经取得了有目共睹的成功。机器之心也曾发布过很多介绍强化学习基本理论和前沿进展的文章，比如《专题 | 深度强化学习综述：从 AlphaGo 背后的力量到学习资源分享（附论文）》。近日，深度学习工程师 Thomas Simonini 在 freeCodeCamp 上发表了介绍深度强化学习的系列文章，已发布的三篇分别介绍了强化学习基本概念、Q 学习以及在《毁灭战士》游戏上开发智能体的过程。机器之心已经编译
AI 科技评论按：2018 年 5 月 31 日-6 月 1 日，中国自动化学会在中国科学院自动化研究所成功举办第 5 期智能自动化学科前沿讲习班，主题为「深度与宽度强化学习」。
这是 Quora 的最新节目，针对特定话题进行系列的问答。如果你不了解 Quora，可以把它看作美国版的知乎，不过里面大咖云集，奥巴马、Elon Musk、Bill Gates 都会在上面回答问题。 这是针对特定话题的问答系列，而有什么能比机器学习更适合作为开头的第一个话题呢？机器学习无疑是今天最炙手可热的技术之一，在过去几年间实现了深度学习等许多进展，而许多企业也将注意力和资源投向了这一领域。 这个 Quora 机器学习问答系列将会邀请众多这个领域的大神来答疑解惑。 这次参加的是 Yoshua Be
今天，我们将构建一个深度Q网络，为环境中的agent实现一个可以获取环境状态信息以及近似Q-value的神经网络。
【磐创AI导读】：本篇文章是深度强化学习专栏的第三篇，讲了第四节无模型的强化学习方法，希望对大家有所帮助。查看上篇关于本专栏的介绍：深度强化学习（DRL）专栏开篇。想要获取更多的机器学习、深度学习资源，欢迎大家点击上方蓝字关注我们的公众号：磐创AI。
作者：VIDHYA小组 翻译：陈之炎 校对：顾佳妮 本文共4700字，建议阅读10+分钟。 本文为你解答关于入门深度学习的问题，并列出了大量的资源让你起步学习。 概述 从Facebook的研究到DeepMind的传奇算法，深度学习已经登上了数据科学界的顶峰。它带来了惊人的创新，不可思议的突破，而且在这一领域我们才刚起步！ 不过如果你是这个领域的新手，“深度”这个词可能会让你产生怀疑。深度学习是当今这一行业最热门的话题之一，但不幸的是，它对大多数人来说是陌生的和神秘的。很多人的印象是深入学习涉及到大量的数
前面我们有一篇文章介绍了 q learning， 也用 Deep Q Network 做了一个小游戏， 但是还没有详细的讲DQN的理论，今天我们就来看一下它的概念。
大家好，我是架构君，一个会写代码吟诗的架构师。今天说一说深度强化学习——从DQN到DDPG,希望能够帮助大家进步!!!
随着城市化进程的加快和自动技术的最新发展，交通研究逐渐向智能化方向发展，称为智能交通系统（ITS）。人工智能（AI）试图用最少的人工干预来控制系统。智能交通系统与人工智能的结合为21世纪的交通研究提供了有效的解决方案。ITS 的主要目标是为参与者提供安全、有效和可靠的交通系统。为此，优化交通信号控制（TSC）、自动车辆控制、交通流控制等是研究的重点。
选自arXiv 作者：Todd Hester等 机器之心编译 参与：吴攀 2013 年，DeepMind 在 NIPS 发表的论文提出了深度 Q 网络（DQN，Deep Q-Network），实现了完全从纯图像输入来学习来玩 Atari 游戏的成果。之后其又在 Nature 上发文介绍了改进版的 DQN，引起了广泛的关注，将深度强化学习推到了深度学习的热门研究前沿。近日，DeepMind 再次发文介绍了一种名叫「学习演示的深度 Q 学习（DQfD：Deep Q-learning from Demonstra
人工智能中的很多应用问题需要算法在每个时刻做出决策并执行动作。对于围棋，每一步需要决定在棋盘的哪个位置放置棋子，以最大可能的战胜对手；对于自动驾驶算法，需要根据路况来确定当前的行驶策略以保证安全的行驶到目的地；对于机械手，要驱动手臂运动以抓取到设定的目标物体。这类问题有一个共同的特点：要根据当前的条件作出决策和动作，以达到某一预期目标。解决这类问题的机器学习算法称为强化学习（reinforcement learning，RL）。虽然传统的强化学习理论在过去几十年中得到了不断的完善，但还是难以解决现实世界中的复杂问题。
【新智元导读】ICML2016今天进入课程讲座环节，DeepMind的资深科学家、AlphaGo作者之一的David Silver作了题为《深度增强学习》的报告。新智元带来本次报告的全部PPT。与前几
蛮挫败的，所以我决定建立一个深度Q网络，用这个网络学习如何在任一电子游戏中打败我的妹妹。
之前学习了强化学习的一些内容以及推荐系统的一些内容，二者能否联系起来呢！今天阅读了一篇论文，题目叫《DRN: A Deep Reinforcement Learning Framework for News Recommendation》。该论文便是深度强化学习和推荐系统的一个结合，也算是提供了一个利用强化学习来做推荐的完整的思路和方法吧。本文便是对文章中的内容的一个简单的介绍，希望对大家有所启发。
在REINFORCE算法中，每次需要根据一个策略采集一条完整的轨迹，并计算这条轨迹上的回报。这种采样方式的方差比较大，学习效率也比较低。我们可以借鉴时序差分学习的思想，使用动态规划方法来提高采样效率，即从状态
【新智元导读】ICLR2016 最佳论文获奖团队、谷歌 DeepMind 有９篇论文被即将于19日召开的深度学习重要会议 ICML2016 接收。新智元系统整理，并邀百度硅谷深度学习实验室资深研究科学家王江对论文进行点评。其中，《像素神经网络》提出了一个二维循环神经网络，增强了深度RNN自然图像生成模型的能力；《卷积神经网络中循环对称性的利用》训练了旋转对称神经网络的框架；《深度强化学习的异步算法》提出了一种简单轻量的深度强化学习框架，使用异步梯度下降优化深度神经网络控制器；《基于模型加速的连续深度Q学习》
强化学习是一种机器学习方法，用于训练智能体（agent）在与环境的交互中学习如何做出最优决策。DQN（Deep Q-Network）是强化学习中的一种基于深度神经网络的方法，用于学习最优策略。本文将详细介绍DQN的原理、实现方式以及如何在Python中应用。
选自arXiv 机器之心编译 参与：蒋思源、李泽南 深度神经网络（DNN）参数中简单而强大的贝叶斯推理（Bayesian inference）技术有可能大大扩展深度学习技术的应用范围。在现实世界的应用中，意外错误可能会造成危险和财产损失，而预料之内的问题则可以让智能体寻求人类的指导（以主动学习的形式），或是采取一些安全的默认行为（如关机）来进行规避。近日，来自蒙特利尔 MILA、Element AI 和麦吉尔大学等机构的学者共同提出了「贝叶斯超网络」，使用新方法提升了 DNN 参数的准确性。 通常情况下，D
2016年AlphaGo计算机围棋系统战胜顶尖职业棋手李世石，引起了全世界的广泛关注，人工智能进一步被推到了风口浪尖。而其中的深度增强学习算法是AlphaGo的核心，也是通用人工智能的实现关键。本文将带领大家了解深度增强学习的前沿算法思想，领略人工智能的核心奥秘。 前言 深度增强学习（Deep Reinforcement Learning，DRL）是近两年来深度学习领域迅猛发展起来的一个分支，目的是解决计算机从感知到决策控制的问题，从而实现通用人工智能。以Google DeepMind公司为首，基于深度增强
本系列为吴恩达老师《深度学习专项课程(Deep Learning Specialization)》学习与总结整理所得，对应的课程视频可以在这里查看。
DQN算法是一种深度强化学习算法（Deep Reinforcement Learning，DRL），DQN算法是深度学习（Deep Learning）与强化学习（Reinforcement learning）结合的产物，利用深度学习的感知能力与强化学习的决策能力，实现了从感知到动作的端到端（End to End）的革命性算法。DQN算法由谷歌的DeepMind团队在NIPS 2013上首次发表，并在Nature 2015上提出由两个网络组成的Nature DQN。
微软研究院在IJCAI2016的Tutorial上讲述了自己将深度学习、深度神经网络应用于不同场景的情况，之前第二部分提到了深度学习在统计机器翻译和会话中的应用，本文为第三部分—选中自然语言处理任务的
尽管监督式和非监督式学习的深度模型已经广泛被技术社区所采用，深度强化学习仍旧显得有些神秘。这篇文章将试图揭秘这项技术，并解释其背后的逻辑。受众读者主要是有机器学习或者神经网络背景，却还没来得及深入钻研强化学习技术的朋友。 文章大纲如下： 强化学习面临的主要挑战是什么？我们将会在此讨论credit assignment问题和探索-利用的取舍。 如何用数学表达式表示强化学习过程？我们将定义马尔科夫决策过程，并用它来解释强化学习过程。 该如何构建长期策略？我们定义了“未来回报折扣（discounted futu
Stock Prediction Models - Gathers machine learning and deep learning models for Stock forecasting, included trading bots and simulations
前面强化学习推送到第十二篇，迷宫问题已使用Q-learning解决过，今天使用另一种方法：深度Q网络，简称DQN网络解决。
【新智元导读】本文来自 ICML 2017 的 tutorial，主题是深度学习应用中的决策和控制问题，介绍了与强化学习相关的强化和最优控制的基础理论，以及将深度学习扩展到决策和控制中的一些最新成果，包括基于模型的算法，模仿学习和逆向强化学习，探索当前深度强化学习算法的前沿和局限性。 完整PPT下载：https://sites.google.com/view/icml17deeprl 将“神通广大”的神经网络模型与简单可扩展的训练算法结合在一起的深度学习对包括计算机视觉，语音识别和自然语言处理在内的一系列监
文/ Tambet Matiisen 译/赵屹华，刘翔宇 原作者Tambet Matiisen在文章结尾列出了对本文内容给出意见和建议的读者，以及深入了解这些技术的在线文档和视频链接，受篇幅所限，译文不再赘述。感谢Tambet Matiisen授权《程序员》翻译和刊载。 原文链接：http://neuro.cs.ut.ee/demystifyingdeep-reinforcement-learning/ 本文为《程序员》文章，未经允许不得转载，更多精彩文章请订阅2016年《程序员》 尽管监督式和非监督
【导读】复旦大学副教授、博士生导师、开源自然语言处理工具FudanNLP的主要开发者邱锡鹏（http://nlp.fudan.edu.cn/xpqiu/）老师撰写的《神经网络与深度学习》书册，是国内为数不多的深度学习中文基础教程之一，每一章都是干货，非常精炼。邱老师在今年中国中文信息学会《前沿技术讲习班》做了题为《深度学习基础》的精彩报告，报告非常精彩，深入浅出地介绍了神经网络与深度学习的一系列相关知识，基本上围绕着邱老师的《神经网络与深度学习》一书进行讲解。专知希望把如此精华知识资料分发给更多AI从业者，
【新智元导读】AlphaGo作者、DeepMind联合创始人兼CEO David Silver昨日撰文，系统梳理团队使用深度增强学习，让智能体在游戏上取得的进展。Silver还表示，许多技术都已经用到了现实生活中。将来还有拓展到机器人的移动和控制以及医疗领域的可能。 【David Silver】人类擅长解决众多具有挑战性的问题，从低级别的控制汽车到高级别的认知任务都可以。我们在DeepMind的目标是创造众多智能体（agent），它们具备相同级别的表现和总体功能。 和人类一样，我们的智能体自己会学习获得成功
这次参加的是 Yoshua Bengio，计算机科学家，毕业于麦吉尔大学，在MIT和AT&T贝尔实验室做过博士后研究员，自1993年之后就是蒙特利尔大学任教，与 Yann LeCun、 Geoffrey Hinton并称为“深度学习三巨头”，也是神经网络复兴的主要的三个发起人之一，在预训练问题、为自动编码器降噪等自动编码器的结构问题和生成式模型等等领域做出重大贡献。他早先的一篇关于语言概率模型的论文开创了神经网络做语言模型的先河，启发了一系列关于 NLP 的文章，进而在工业界产生重大影响。此外，他的小组开发了 Theano 平台。
本系列是 斯坦福大学自然语言处理-cs224课程的笔记4：神经网络的反向传播的直观解释，前 4 篇笔记如下：深度学习和自然语言处理：介绍；斯坦福大学NLP-cs224课程笔记2：词向量；一文了解Word2vec之Skip-Gram训练网络的3种技术；TensorFlow 实战 3层网络求解嵌入词向量，附代码详解
选自arXiv 作者：Melrose Roderick等 机器之心编译 论文的复现一直是很多研究者和开发者关注的重点，近日有研究者详细论述了他们在复现深度 Q 网络所踩过的坑与训练技巧。本论文不仅重点标注了实现过程中的终止条件和优化算法等关键点，同时还讨论了实现的性能改进方案。机器之心简要介绍了该论文，更详细的实现细节请查看原论文。 过去几年来，深度强化学习逐渐流行，因为它在有超大状态空间（state-spaces）的领域上要比先前的方法有更好的表现。DQN 几乎在所有的游戏上超越了之前的强化学习方法，并在
点击上方“专知”关注获取更多AI知识! 【导读】Google DeepMind在Nature上发表最新论文，介绍了迄今最强最新的版本AlphaGo Zero，不使用人类先验知识，使用纯强化学习，将价值网络和策略网络整合为一个架构，3天训练后就以100比0击败了上一版本的AlphaGo。Alpha Zero的背后核心技术是深度强化学习，为此，专知有幸邀请到叶强博士根据DeepMind AlphaGo的研究人员David Silver《深度强化学习》视频公开课进行创作的中文学习笔记，在专知发布推荐给大家！（关注
本系列为 斯坦福CS231n 《深度学习与计算机视觉(Deep Learning for Computer Vision)》的全套学习笔记，对应的课程视频可以在 这里 查看。更多资料获取方式见文末。
Pytorch的一个强化的学习教程（ Train a Mario-playing RL Agent）使用超级玛丽游戏来学习双Q网络(强化学习的一种类型)，官网的文章只有代码， 所以本文将配合官网网站的教程详细介绍它是如何工作的，以及如何将它们应用到这个例子中。
【新智元导读】在ICML2016上，谷歌 DeepMind 有９篇论文被接收，新智元特邀Facebook 人工智能实验室研究员田渊栋对其中的《 深度增强学习的异步算法》进行了点评。 作者介绍：田渊栋，
【新智元导读】AlphaGo的巨大成功掀起了围棋界三千年未有之大变局，也使得深度强化学习(Deep Reinforcement Learning)渐为大众熟悉。尤其是最新推出的AlphaGo Zero完全摒弃了人类知识，并且三天内碾压了早期版本的AlphaGo，更足显强化学习和深度学习结合的巨大威力。AlphaGo Zero的论文侧重于描述效果，对于方法的论述比较简短，没有相关背景的人读起来可能会有一些困难。本文对强化学习以及AlphaGo Zero算法做了详细描述。 作者简介：王晶，Google广告大数据
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
