SPG定理与算法介绍

发现问题：

在传统的policy optimization强化学习中，通常会手加一个动作熵作为探索项，然后对该项的权重因子调参以达到增加探索的目的。然而“In practice, moreover, policy gradient methods typically employ carefully tuned entropy regularization in order to prevent policy collapse.”，更严重的是动作熵的引入破坏了PG（policy gradient ）理论的自洽性，而对于一个理论来说自洽性重于泰山。

解决问题：

为了得到一个自洽的又能探索的PG，我提出SPG定理。时间有点久了，已经忘了是2018还是2019年提出来的，一直没有写论文介绍，在此简略介绍。SPG是Soft Policy Gradient的缩写，"Soft"指代的是熵正规化（ entropy regularization ）。核心的洞察是把传统的PG推广到熵正规化的强化学习理论框架。

The maximum entropy objective generalizes the standard objective by augmenting it with an entropy term, such that the optimal policy additionally aims to maximize its entropy at each visited state:

SPG定理：

值得注意的是在SPG中，探索项是由理论自然导出的而不再是随手添加的。基于policy optimization的强化学习算法的数学基础都是policy gradient 定理（PGT），比如PG, A2C, A3C, TRPO, PPO, IMPALA等等。现在我们有了soft policy gradient 定理，对应地可以演化出一系列新算法，比如SPG, SA2C, SA3C, STRPO, SPPO, SIMPALA等等。

实验验证：

1. gym Pendulum （对于稳定训练可谓立竿见影）

左图PPO：

https://github.com/createamind/DRL/blob/master/algorithm_standalone/PPO/PPO_v1.py

右图SPPO：

https://github.com/createamind/DRL/blob/master/algorithm_standalone/PPO/PPO_v2.py

2. atari breakout （满分864分通关无压力）

代码基于openai baseline强化学习库，把PPO算法改成SPPO算法，使用PPO默认参数训练。训练出来的Agent的策略特点是从左边开一个小口，然后上下来回跳动打砖块得分，如下图：

在https://github.com/createamind/DRL库中也有一些SPPO的代码，在PPO基础上少量修改就行，但是代码是mpi实现的不推荐使用。

SPG算法伪代码：略。

总结一下：

在加探索项的PG中exploration和exploitation是竞争状态，而在SPG中exploration和exploitation是合作状态。

欢迎有资源的小伙伴使用S系列的算法跑比如星际争霸，DOTA，王者荣耀等游戏 : )