问什么是“经验回放”，它的好处是什么？

EN

该算法(或至少在古瑟尔项目中实现的该算法的一个版本)如下：

1. 创建一个回放“缓冲区”，存储最后一次#buffer_size S.A.R.S. (状态、动作、奖励、新状态)体验。
2. 运行您的代理，让它在回放缓冲区中积累经验，直到它(缓冲区)至少有了#batch_size经验为止。
   • 您可以根据特定的策略选择操作(例如，对于离散的动作空间来说，软-最大值，对于连续的，等等)。在您的\hat{Q}(s,a ; \theta)函数估计器上。

3. 一旦到达#batch_size或更多：
   • 在当前时间创建函数估计器(\hat{Q}(s,a; \theta))的副本，即权重\theta的副本--“冻结”而不更新，并使用它来计算“真”状态\hat{Q}(s', a'; \theta)。运行num_replay更新：
     1. 从重放缓冲区中获得的示例#batch_size体验。
     2. 使用抽样的经验预先形成一批更新到您的函数估计器(例如，在Q-学习中，\hat{Q}(s,a) =神经网络-更新网络的权重)。使用冻结权值作为“真”动作值函数，但继续改进非冻结函数。

- do this until you reach a terminal state. 
- don't forget to constantly append the new experiences to the Replay Buffer

1. 你需要多少集就跑多少集。

我所说的“真”是什么意思:每一次体验都可以被看作是一个“监督”的学习二重奏，其中你有一个真值函数Q(s,a)和一个函数估计器\hat{Q}(s,a)。您的目标是减少值错误，例如\sum(Q(s,a) - \hat{Q}(s,a))^2。由于您可能无法访问真正的操作值，因此您可以使用引导的改进版本的最后一个评估器，同时考虑到新的体验和所给予的奖励。在Q-学习中，“真”动作值是Q(s,a) = R_{t+1} + \gamma \max_{a'}\hat{Q}(s', a'; \theta)，其中R是奖励，\gamma是折扣因子。

下面是代码的摘录：

def agent_step(self, reward, state):
    action = self.policy(state)
    terminal = 0
    self.replay_buffer.append(self.last_state, self.last_action, reward, terminal, state)
    if self.replay_buffer.size() > self.replay_buffer.minibatch_size:
        current_q = deepcopy(self.network)
        for _ in range(self.num_replay):
            experiences = self.replay_buffer.sample()
            optimize_network(experiences, self.discount, self.optimizer, self.network, current_q, self.tau)
    self.last_state = state
    self.last_action = action        
    return action

由于两个原因，我们需要一个重放缓冲区。

1. Q-学习更新是增量和缓慢的收敛。为了收敛，需要多次通过q-函数。
2. 当输入在神经网络中高度相关时，梯度在一个方向上是高的，导致网络过度校正。