【模型解读】从2D卷积到3D卷积，都有什么不一样

013D卷积

首先看一下二维卷积，一个3*3的卷积核，在单通道图像上进行卷积，得到输出。

然后我们再看一下3维卷积，一个3*3*3的卷积核在立方体上进行卷积，得到输出。

就是这样，没什么其他花样了。

可能有人会问，这跟多通道卷积有什么区别呢？

有。

多通道卷积不同的通道上的卷积核的参数是不同的，而3D卷积则由于卷积核本身是3D的，所以这个由于“深度”造成的看似不同通道上用的就是同一个卷积，权重共享嘛。

总之，多了一个深度通道，这个深度可能是视频上的连续帧，也可能是立体图像中的不同切片。

023D卷积的应用

上面也说了，3D卷积就是多了一个深度通道，而这个深度通道可能是视频上的连续帧，也可能是立体图像中的不同切片，所以从应用上来说，主要就是两大主要方向。

2.1 视频分类

相比于2D图像，什么数据多了一个维度呢？当然就是视频了，视频的帧数，就是完美的另一个深度维度，将3D卷积用于视频的分类，再自然不过，关键就是看谁先来干。

据我所知，文【1】是最早的，看看他们使用的网络结构。

网络很浅，只有3个卷积层和1个全连接层，2个池化层，这样的网络规模和LeNet5可以称兄道弟了。不过3D多了一个维度，计算量自然是多了很多。

这里有两个3D卷积层，卷积核大小分别是7x7x3，7x6x3，前两维是空间的卷积，后一维是时间的卷积，看得出来，不需要保持一致，而且通常空间的卷积核大小和时间就不会一致，毕竟处理的“分辨率”不同。

这个网络结构在视频分类数据集UCF-101上的top-1精度为63.3%，别看这个指标不高，其他的比如LSTM，双流网络等也差不太多，而普通的2D卷积或者传统方法则要低于这个指标。

更细致的三维卷积在视频分类中应用的网络结构的探索在文【2】中，感兴趣读者可以自取。

2.2 图像分割

既然可以用于分类，自然也可以用于分割。不过对视频使用3D卷积似乎优势并不大，而在医学领域的应用前景更大一些。

医学数据通常都是3D的，比如CT扫描的数据，虽然我们看的片子是2D的，但其实那只是一个切片，真正的扫描数据是3D的。

而如果要分割出一些病变组织，比如肿瘤，也必须是3D的。

具体的网络结构就是将U-Net改为3D的形式。

就讲这么多，未完待续。

【1】Ji S, Xu W, Yang M, et al. 3D convolutional neural networks for human action recognition[J]. IEEE transactions on pattern analysis and machine intelligence, 2013, 35(1): 221-231.

【2】Tran D, Bourdev L, Fergus R, et al. Learning spatiotemporal features with 3d convolutional networks[C]//Proceedings of the IEEE international conference on computer vision. 2015: 4489-4497.

【3】Casamitjana A, Puch S, Aduriz A, et al. 3D Convolutional Neural Networks for Brain Tumor Segmentation: a comparison of multi-resolution architectures[C]//International Workshop on Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries. Springer, Cham, 2016: 150-161.

总结

我们面临的很多的数据都是高维的，比如街景地图，比如视频，比如医学图像，比如点云，将二维拓展至更高维的卷积也是很自然的想法，总之多尝试吧。