我们有了DCGAN生成的图片信息向量,现在还有了运动信息向量;
视频包括原理和实验效果的介绍:
官方代码还未开放, http://visualdynamics.csail.mit.edu/
这里的代码是:https://github.com/tensorflow/models/blob/master/next_frame_prediction/cross_conv/model.py
核心框架:
通过def _BuildMotionKernel(self):调用几个函数构建网络架构
cnn编码运动信息为VAE
图片cnn提取特征feature
运动信息(即两种图片的差异)和图片信息进行联合编码
合成信息进行解码为图片输出
loss 构建
以上就是核心代码:
另外包括循环训练代码train;读取图片的reader;及数据准备等。
40页ppt http://visualdynamics.csail.mit.edu/visualDynamics_nips2016.pdf
nips一页展示:
Visual Dynamics: Probabilistic Future Frame Synthesis via Cross Convolutional Networks
运动信息的学习对机器人思维和行动都非常重要,这篇论文提出了运动信息的学习和预测。对不同图片中物体的运动预测提出了新的模型及好的实验结果
代码: https://github.com/tensorflow/models/tree/master/next_frame_prediction
http://visualdynamics.csail.mit.edu