【时空序列预测第六篇】时空序列预测模型之EIDETIC 3D LSTM（结合3DConv与RNN）
【时空序列预测第六篇】时空序列预测模型之EIDETIC 3D LSTM（结合3DConv与RNN）
前言
重新给自己个要求，一周两篇细读paper，写好文章慢慢发！给自己说一句：加油！
一、Address
这是ICLR2019年的一篇paper，来自于清华的王同学与李飞飞实验室的合作paper。
EIDETIC 3D LSTM: A MODEL FOR VIDEO PREDICTION AND BEYOND
http://faculty.ucmerced.edu/mhyang/papers/iclr2019_eidetic3d.pdf
二、Introduction
2.1 3DCNN和RNN模型
3DCNN和RNN模型都用于时空序列预测上，之后呢，大家肯定会想两个模型简单得做一下前向的连接会不会更有效果呢？实际上我们把3DCNN学到得主要是图片局部得一些表征（主要是短期的），而RNN主要学习到得是一种时间得信息表征（主要是强调长期的）。
但这样简单得结合最终的结果不如直接的RNN模型。
2.2 短期依赖和长期依赖
这个其实众说纷纭吧，这篇paper是这么描述的
短期：
长期：
简单点来说，我的理解：
短期依赖就是短期的时间得一部分信息比如说运动啊等等等，还有图片本身的local信息，而长期就比较玄乎一些了，就是一些高阶有规律的一些时间性偏多的信息，比如长期的周期性，和一些图片的高级时间表达。
2.3 不完美模型的预测误差问题
文中一个非常nice的总结：
三、EIDETIC 3D LSTM
3.1 在循环神经网络中的3D-CNN结构
把3D-CNN与RNN结合处理序列问题，可以有以下两种结构
注：黑色箭头就是普通的数据格式和维度，而蓝色的是代表通过3D-CNN的方式来传递的。
故第一个图的输入部分为图片序列，经过3D-CNN之后得到一个feature map，相当于得到一个高级序列特征文件输入到RNN单元中
第二个图先是每一帧图片输入到普通卷积的encoder中，之后通过RNN结构输出信息，并将上一时刻的输出整合在一起得到的序列特征数据形式进行3D-CNN的Decoder输出预测
但实验表明这样的整合还不如直接RNN结构的效果好
提出了一个更深的组合，将3D-Conv集成在LSTM内，以便将卷积特征纳入随时间变化的递归状态转换中。
可以看出因为内部的转变，所有的输入输出形式都变成了 蓝色标记，也就是都经过3D-Conv过程
3.2 EIDETIC MEMORY TRANSITION
红线代表着短期的信息流，蓝线代表着注意的信息流。立方体表示高维的隐藏状态和内存状态。圆柱表示高维门
此处创新点主要是提出了新的memory state转换机制RECALL:
补充：
Hadamard product例子(就是矩阵中对应位置的元素相乘)：
matrix product(就是矩阵相乘)：
咱们再重新仔细看下这个结构。
红色的部分： 其实就是普通LSTM的input gate的部分，算是很标准的LSTM的一个输入，主要能够去编码一些图片序列的局部表征以及运动变化信息。
紫色的部分： 这个部分是重头戏，就是提出的那个类似于attention的机制。文中说的很详细了，这里直接说下我个人的拙见罢了。
这里的Rt其实就是忘记门的位置，只是改造了。这里门控与之前的一系列时刻的memory state相乘之后，做了个softmax， 那就得到了一个向量，这个向量中全都是0-1之间的概率。又与之前的一系列时刻的memory state相乘，这里到底是怎么表达合适呢？我觉得文中一句话实在太赞。
控制了多少？哪些？这不就是softmax最后得到一堆0-1之间的数的作用嘛，0是不选择了，1我全选了，0-1之间就是我选择的what。
之后对过去的总体的信息进行选择之后和短期依赖Ct-1结合。
浅蓝色的部分： 通过LayerNorm把信息整合。
然而这张机制只用在了输入端，更确切的说应该是在唤醒长期记忆的部位。
作者也尝试去用这种方法对M进行recall但是效果不好。
附上最后一点公式：
四、EXPERIMENTS
在Moving Mnist上的表现
表现出最好结果
更多实验细节请自行读paper，最好是边复现边读，意义更大，效果更佳，这边不带着一起读了，因为前几篇都详细讲述过，差别不大。
五、Conclusions
- 把3D-Conv引入到LSTM的内部，并对普通的连接做了一些实验说明，也给出了简要的理由。
- 提出RECALL机制，里面用了一些attention的思想，并通过LayerNorm使得信息融合。
- 我个人感觉最巧妙的还是RECALL那个部分，其实像做了一个更牛的forget gate，只是叫recall gate了，这个gate控制的不只是前一个memory state（指短期依赖），而是可以控制过去一段时间序列的memory state（主要是长期的一种依赖获取）