运动信息向量的神经网络学习 code、ppt、视频ok

我们有了DCGAN生成的图片信息向量，现在还有了运动信息向量；

视频包括原理和实验效果的介绍：

官方代码还未开放， http://visualdynamics.csail.mit.edu/

• Dataset: coming soon!
• Code: coming soon!

这里的代码是：https://github.com/tensorflow/models/blob/master/next_frame_prediction/cross_conv/model.py

核心框架：

通过def _BuildMotionKernel(self):调用几个函数构建网络架构

cnn编码运动信息为VAE

图片cnn提取特征feature

运动信息（即两种图片的差异）和图片信息进行联合编码

合成信息进行解码为图片输出

loss 构建

以上就是核心代码：

另外包括循环训练代码train；读取图片的reader；及数据准备等。

40页ppt http://visualdynamics.csail.mit.edu/visualDynamics_nips2016.pdf

nips一页展示：

Visual Dynamics: Probabilistic Future Frame Synthesis via Cross Convolutional Networks

运动信息的学习对机器人思维和行动都非常重要，这篇论文提出了运动信息的学习和预测。对不同图片中物体的运动预测提出了新的模型及好的实验结果

代码： https://github.com/tensorflow/models/tree/master/next_frame_prediction

http://visualdynamics.csail.mit.edu