强化学习的探索策略方式

https://blog.csdn.net/xyk_hust/article/details/86702700

1 固定值的贪婪策略

固定贪婪策略的值，使得算法整个运行过程中保持一定的探索。实现方式直接而简单，在不少情况下对收敛性的负面影响并不大，尤其是奖励常常取负值时候。

通常应用在状态空间有限的简单环境中；

2 epsilon衰减贪婪策略

2.1 初始状态下探索，然后最终使得epsilon上升，得到最终的固定贪婪值。初期的值使得算法能够有效探索。在DRL常用。

2.2 进行绕圈，一定程度下重新初始化探索

3 UCB方法

置信区间上界(Upper Confidence Bound, UCB)指导行为选择。由Hoeffding不等式推导得到

4 熵相关方法

4.1 A3C，状态下得到的行为选择值数组后，可以计算熵项目，给予一定权重添加到奖励r上，使得倾向选择最大熵对应的状态，然后衰减该权重，形成策略？

4.2 SAC?

5 其它

对于Actor-Critic架构，Actor选择行为，用DDPG的正态分布等，对sigma进行衰减类似于贪婪策略，用A2C算法的离散方式，状态可选动作下，动作数组取softmax，然后进行概率取样，属于概率方法吧。