问actor-critic模型中的共享参数是如何工作的？

EN

您可以通过共享其网络的部分(或全部)层来实现此目的。然而，如果你这样做了，你就假设有一个公共的状态表示(中间层输出)是最优的w.r.t。两者都有。这是一个非常有力的假设，通常不成立。它已被证明适用于从图像中学习，例如，您在演员和评论家网络的顶部放置(例如)自动编码器，并使用它们的损失函数的总和对其进行训练。

这是在PPO paper中提到的(就在等式之前。(9))。然而，他们只是说他们共享的层只是为了学习Atari游戏，而不是为了连续的控制问题。他们没有说为什么，但这可以解释如我上面说的: Atari游戏有一个低维的状态表示，对于演员和评论家来说都是最优的(例如，自动编码器学习的编码图像)，而对于连续控制，你通常直接传递一个低维的状态(坐标，速度，...)。

您提到的A3C也主要用于游戏(我认为是末日)。

根据我的经验，在控制共享层中，如果状态已经是紧凑的，那么共享层永远不会起作用。