专栏首页博文视点Broadview让《强化学习(第2版)》架起一座通往强化学习经典知识宝库的桥梁

让《强化学习(第2版)》架起一座通往强化学习经典知识宝库的桥梁

在 AlphaGo战胜李世石之后,AlphaZero以其完全凭借自我学习超越人类在各种棋类游戏中数千年经验的能力再次刷新了人类对人工智能的认识,也使得强化学习与深度学习的结合受到了学术界和产业界的前所未有的关注。

如今,《强化学习(第2版)》中文版的隆重上市,为机器学习领域的中国学者和学生架起一座通往强化学习经典知识宝库的桥梁。本书来自强化学习领域先驱者Richard S. Sutton和Andrew G. Barto之手,Csaba Szepesvari、Demis Hassabis、邓力、黃士傑、Pedro Domingos、漆远、Tom Mitchell、杨强、Yoshua Bengio、张钹、周志华等国内外行业大咖一致给出好评。

本书译者、上海交大计算科学与工程系教授,俞凯老师,用5分钟的时间带你快速了解、认识强化学习技术以及《强化学习(第2版)》这部殿堂之作。

俞凯 / 《强化学习(第2版)》译者,上海交通大学计算科学与工程系教授,思必驰公司创始人、首席科学家。

以下为音频文字


大家好,我是俞凯。

首先热烈祝贺《强化学习(第2版)》在国内正式发行。

“思想总是走在行动的前面,就好像闪电总是走在雷鸣之前”,这是德国诗人海涅的诗句,也再恰当不过地描述了我第一次读到本书英文原版时候的感觉。这本书的两位作者Richard S. Sutton 和 Andrew G. Barto 就是思想的先行者,而这本书所介绍的强化学习的思想,则是后深度学习时代技术发展最重要的火种之一。

以连接主义的神经网络为代表的深度学习,毫无疑问是21世纪初人工智能领域当中最重要且最具有实用意义的技术突破。它为基础研究走向产业应用做出了巨大的贡献,同时也赢得了巨大的声誉和关注,今年的图灵奖就被授予了深度学习的几位开创者。

但是如火如荼的产业应用其实并不能掩饰出我们基础研究当中对深度学习以及未来人工智能走向的担忧,越来越多的研究者已经把对深度学习的改良性研究视为工业界的应用技巧而开始关注与联结主义的经典深度学习不同的新的人工智能范式的探索。而这其中我看到了两个重要的趋势,一个是黑箱到白箱,另外一个是开环到闭环

第一个就是将连接主义的、不可解释的神经网络式的黑箱学习,与先验知识、符号推理和经典的机器学习相结合,实现可解释、可推理、可操控的新一代的白箱学习,实现比较安全的人工智能。

另外一个也是我们非常关注的,从开环到闭环,也就是从与传统的、基于静态的数据和标签的数据的收集与模型的优化,是相互独立的两个过程的开环学习,逐渐转化成基于动态标签的数据本身的产生和标签的出现与模型的优化紧密耦合在一起的闭环学习。

强化学习就是这种闭环学习的人工智能范式的一个典型的代表。正如这本书当中所详细介绍的,它与传统的预先收集,或者是构造好数据以及标签的有监督学习有着非常本质的差别。它是在强调与环境的交互当中获取那些反映了真实目标达成度的反馈信号,强化学习会强调试错的学习和序列决策行为当中的动态和长期的效应,这些都使得强化学习适用于解决人工智能领域当中的一些深度的难题,比如说我本人所从事的认知型人际口语对话系统,强化学习的使用就具有无可替代的重要地位。当然更为重要的,在AlphaGo和AlphaZero这样一些非常有显示度的棋类对弈的研究当中,强化学习刷新了人类新的经验认知,使得学术界和产业界为强化学习与深度学习的结合,都给出了前所未有的关注。

《强化学习(第2版)》就是在这样的背景之下出版的。

这本书并不是一个实用主义的算法的普及材料,而是一本强化学习思想的深度解剖的材料,是强化学习基础理论的一个经典描述。这本书并没有从复杂的理论角度、算法角度对强化学习的理论和方法进行形式化的推导,而更多的是从基本的思想出发,深入浅出地介绍了各个基本概念。它同时也包含了很多与时俱进的最新的应用成果和作者最新的一些思想。这本书既可以是一个初级教材,也可以作为研究者自学的一个入门教程。

在这本书的翻译过程当中,Richard S. Sutton和Andrew G. Barto还特意为中国的读者们写了一段寄语,其中提到“希望本书的中文译本能够促进中国学生产生更多的新的思想,为世界范围的强化学习的研究繁荣做出贡献”,这一期望也使得作为翻译者的我倍感荣幸。也期望本书的中文译本能够让他们的思想为更多的中国研究者所了解,作为一个火种在中国孕育,并且产生人工智能前沿研究的各种新的思想。

———— ————

本文分享自微信公众号 - 博文视点Broadview(bvbooks),作者:强化学习 第2版

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-10-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 书单丨人工智能领域5本新书,追逐AI技术发展脚步

    本书以“平民”的起点,从“零”开始介绍深度学习的技术与技巧,让读者有良好的带入感和亲近感,并通过逐层铺垫,把学习曲线拉平,使得没有学过微积分等高级理论的程序员朋...

    博文视点Broadview
  • 豆瓣评分9.8!国内外口碑炸裂的强化学习圣经中文版续写传奇!

    2017年12月7日,曾研发出在围棋界打败天下无敌手的AlphaGo团队推出了更为强大的AlphaZero,它从零开始训练,仅8小时就击败了与李世石对战的Alp...

    博文视点Broadview
  • 机器学习:数据驱动的科学

    机器学习,也被称为统计机器学习,是人工智能领域的一个分支,其基本思想是基于数据构建统计模型,并利用模型对数据进行分析和预测的一门学科。

    博文视点Broadview
  • 开启深度学习之路-开篇

    人工智能几乎被媒体以及当代新闻炒得如日中天,虽然发展史不长,但你可以从如今——2019年的生活中处处听到关于它的消息,哪怕你不是工程师,哪怕你不是数据科学家,你...

    用户1410343
  • 晚来的年度总结

    白驹过隙,光阴似箭。时间,真的过得很快。为什么要现在写年度总结呢,因为我觉得今天才是我一年工作结束的时候。

    Android技术干货分享
  • 从起源到具体算法,这篇深度学习综述论文送给你

    来源:机器之心 本文为大家从最基础的角度来为大家解读什么是深度学习,以及深度学习的一些前沿发展。 自 2012 年多伦多大学 Alex Krizhevsky ...

    数据派THU
  • 从起源到具体算法,这是一份适合所有人读的深度学习综述论文

    选自arXiv 作者:Md Zahangir Alom 等 机器之心编译 参与:白妤昕、黄小天、李泽南 自 2012 年多伦多大学 Alex Krizhevsk...

    机器之心
  • 从0到1,这篇深度学习综述送给你!

    昱良
  • 专家展望未来5年深度学习发展趋势

    用户1737318
  • 你可以成为你任何想成为的人

    程序员(Programmer,Computer Programmer或Coder),它可以指在程序设计某个专业领域中的专业人士,或是从事软件撰写,程序开发、维护...

    PayneWu

扫码关注云+社区

领取腾讯云代金券