CML 是 International Conference on Machine Learning的缩写,即国际机器学习大会。ICML如今已发展为由国际机器学习学会(IMLS)主办的年度机器学习国际顶级会议。其中强化学习便是该会议很重要的一个话题,每年都有非常多的投稿。本文整理了David Abel总结的ICML2018、2019两年的深度强化学习笔记,详看正文。
1
ICML-2019-RL-Note
作者整理简介:我在本次会议的RL分场上度过了大部分时间(可惜错过了所有主题演讲), 所以我的大部分反思(和笔记)都集中在RL:
元学习&元强化学习
元学习算法通用方法
为什么元强化学习有用?
几乎所有问题都与现有方法的样本效率低下有关。将TRPO应用于真正的机器人时,机器人需要花费数天或数周的时间才能开始取得任何进展(学习步行)。
通常情况下,智能体的目标是学习一个策略最大化累计期望奖励。
而且,RL目标的元学习问题是学习
,因此,元RL问题如下:
其优化过程如下:
当然元学习有它的优势,也有对应的挑战。
挑战1:超量配置:元学习需要任务分配,一些元学习方法可能会过度适合这些任务分配。
挑战2:任务设计:通常必须手动选择这些任务分配,或者它们的多样性不足以鼓励正确的行为。很难以正确的方式选择任务分配!
挑战3:了解哪种算法过度拟合:许多不同的方法(黑盒,基于优化的非参数方法),但是我们不知道哪种算法最容易遭受元过度拟合。
图强化学习
图模型最近在深度学习中特别的人们,然而在强化学习中也是独领风骚:TibGM: A Graphical Model Approach for RL
还有包括分布式强化学习,理论等相关内容,详见文末PDF2019
2
ICML-2018-RL-Note
Github查看(欢迎star仓库):
https://github.com/NeuronDance/DeepRL/tree/master/DRL-ConferencePaper/ICML/Source