问蒙特卡罗模拟中“最后一个好答案”和“快速行动值估计”的概念是什么？

EN

在利用强化学习的monte树搜索领域中，反向传播有两种类型: AMAF和UCT。

UCT方法向后传播它在选择阶段通过的路径。只有在选择过程中遇到的节点才会在其状态下被反向传播。但是在阿马夫中，所有在roll_out阶段遇到的节点都被存储，在反向传播阶段，以及在选择路径中的节点，都是在不考虑状态的情况下反向传播的。

UCT给出了一个非常精确的(状态，动作)对的局部值，但是它的收敛速度太慢了。另一方面，AMAF启发式算法收敛速度非常快，但(状态、动作)对值太笼统，不能可靠。

通过对以下值使用递减系数，我们可以从这两种策略中获益：

A* UCT +(1-a)* AMAF

这是RAVE(快速行动价值刺激)启发。

最后一个好答案是基于AMAF的，但可以从狂暴中受益。它的一般想法是，在比赛阶段，当我们使用移动对抗对手移动，如果这些移动是成功的对手的，所以我们可能能够存储这些移动，并在下一次比赛中使用。