GTrXL架构介绍 (Transformer在RL中的应用)

论文链接：https://arxiv.org/pdf/1910.06764.pdf

1. Abstract

2. Motivation

3. Contribution

主要有两点：一个是调整了LN（layer normalization）在 Transformer Block中的位置；另一个是用 gating layer 替代了 Multi-Head Attention 和 Multi-Layer Perceptron 后接的残差层。

4. Architecture

为什么调整了LN的位置可以让训练更稳定，论文没能给出答案。下面这篇论文中给出了理论分析：

On Layer Normalization in the Transformer Architecture

https://arxiv.org/pdf/2002.04745.pdf

这个定理的结论很直接：Pre-LN Transformer 相比 Post-LN Transformer，参数的梯度多了一个根号L的正规化，从而训练更加的稳定。

对于Gating Layer，论文中尝试了几个不同的种类：

Gating Layer的引入使Tranformer自下而上的信息流接受了Gating机制的筛选。

5. Experiment

论文使用的强化学习算法是V-MPO算法（Value-based Maximum a Posteriori Policy Optimization），详见论文：

V-MPO: ON-POLICY MAXIMUM A POSTERIORI POLICY OPTIMIZATION FOR DISCRETE AND CONTINUOUS CONTROL

https://arxiv.org/pdf/1909.12238.pdf

图像Encoder 使用的是上面论文中一样的ResNet.

Transformer参数：

6. Conclusion

记忆对智能体至关重要，论文中通过对Transformer的改造，可以超越LSTM，MERLIN等记忆机制，效果还是不错的，但是对架构可以work还需更多的探究。是否有进一步的改造空间？比如每个GTrXL block 能否用一个gating layer，能否共享 The GTrXL block 的参数等。