CapsNet入门系列番外：基于TensorFlow实现胶囊网络

作者：Debarko De

编译：weakish

编者按：全栈开发者Debarko De简明扼要地介绍了胶囊网络的概念，同时给出了基于numpy和TensorFlow的胶囊网络实现。

什么是胶囊网络？什么是胶囊？胶囊网络比卷积神经网络（CNN）更好吗？本文将讨论这些关于Hinton提出的CapsNet（胶囊网络）的话题。

注意，本文讨论的不是制药学中的胶囊，而是神经网络和机器学习中的胶囊。

阅读本文前，你需要对CNN有基本的了解，否则建议你先看下我之前写的Deep Learning for Noobs。下面我将稍稍温习下与本文相关的CNN的知识，这样你能更容易理解下文CNN与CapsNet的对比。闲话就不多说了，让我们开始吧。

基本上，CNN是堆叠一大堆神经元构成的系统。CNN很擅长处理图像分类问题。让神经网络映射一张图像的所有像素，从算力上来讲，太昂贵了。而卷积在保留数据本质的前提下大大简化了计算。基本上，卷积是一大堆矩阵乘法，再将乘积相加。

图像传入网络后，一组核或过滤器扫描图像并进行卷积操作，从而创建特征映射。这些特征接着传给之后的激活层和池化层。取决于网络的层数，这一组合可能反复堆叠。激活网络给网络带来了一些非线性（比如ReLU）。池化（比如最大池化）有助于减少训练时间。池化的想法是为每个子区域创建“概要”。同时池化也提供了一些目标检测的位置和平移不变性。网络的最后是一个分类器，比如softmax分类器，分类器返回类别。训练基于对应标注数据的错误进行反向传播。在这一步骤中，非线性有助于解决梯度衰减问题。

CNN有什么问题？

在分类非常接近数据集的图像时，CNN表现极为出色。但CNN在颠倒、倾斜或其他朝向不同的图像上表现很差。训练时添加同一图像的不同变体可以解决这一问题。在CNN中，每层对图像的理解粒度更粗。举个例子，假设你试图分类船和马。最内层（第一层）理解细小的曲线和边缘。第二层可能理解直线或小形状，例如船的桅杆和整个尾巴的曲线。更高层开始理解更复杂的形状，例如整条尾巴或船体。最后层尝试总览全图（例如整条船或整匹马）。我们在每层之后使用池化，以便在合理的时间内完成计算，但本质上池化同时丢失了位置信息。

畸形变换

池化有助于建立位置不变性。否则CNN将只能拟合非常接近训练集的图像或数据。这样的不变性同时导致具备船的部件但顺序错误的图像被误认为船。所以系统会把上图右侧的图像误认为船，而人类则能很清楚地观察到两者的区别。另外，池化也有助于建立比例不变性。

比例不变性

池化本来是用来引入位置、朝向、比例不变性的，然而这一方法非常粗糙。事实上池化加入了各种位置不变性，以致将部件顺序错误的图像也误认为船了。我们需要的不是不变性，而是等价性。不变性使CNN可以容忍视角中的小变动，而等价性使CNN理解朝向和比例变动，并相应地适应图像，从而不损失图像的空间位置信息。CNN会减少自身尺寸以检测较小的船。这导向了最近发展出的胶囊网络。

什么是胶囊网络？

Sara Sabour、Nicholas Frost、Geoffrey Hinton在2017年10月发表了论文Dynamic Routing Between Capsules。当深度学习的祖父之一Geoffrey Hinton发表了一篇论文，这论文注定会是一项重大突破。整个深度学习社区都为此疯狂。这篇论文讨论了胶囊、胶囊网络以及在MNIST上的试验。MNIST是已标注的手写数字图像数据集。相比当前最先进的CNN，胶囊网络在重叠数字上的表现明显提升。论文的作者提出人脑有一个称为“胶囊”的模块，这些胶囊特别擅长处理不同的视觉刺激，以及编码位姿（位置、尺寸、朝向）、变形、速度、反射率、色调、纹理等信息。大脑肯定具备“路由”低层视觉信息至最擅长处理该信息的卷囊的机制。

胶囊网络架构

胶囊是一组嵌套的神经网络层。在通常的神经网络中，你不断添加更多层。在胶囊网络中，你会在单个网络层中加入更多的层。换句话说，在一个神经网络层中嵌套另一个。胶囊中的神经元的状态刻画了图像中的一个实体的上述属性。胶囊输出一个表示实体存在性的向量。向量的朝向表示实体的属性。向量发送至神经网络中所有可能的亲本胶囊。胶囊可以为每个可能的亲本计算出一个预测向量，预测向量是通过将自身权重乘以权重矩阵得出的。预测向量乘积标量最大的亲本胶囊的联系将增强，而剩下的亲本胶囊联系将减弱。这一基于合意的路由方法比诸如最大池化之类的现有机制更优越。最大池化路由基于低层网络检测出的最强烈的特征。动态路由之外，胶囊网络给胶囊加上了squash函数。squash属于非线性函数。与CNN给每个网络层添加squash函数不同，胶囊网络给每组嵌套的网络层添加squash函数，从而将squash函数应用到每个胶囊的输出向量。

论文引入了一个全新的squash函数（见上图）。ReLU及类似的非线性函数在单个神经元上表现良好，不过论文发现在胶囊上squash函数表现最好。squash函数压缩胶囊的输出向量的长度：当向量较小时，结果为0；当向量较大时，结果为1。动态路由增加了一些额外的运算开销，但毫无疑问带来了优势。

当然我们也要注意，这篇论文刚发不久，胶囊的概念还没有经过全面的测试。它在MNIST数据集上表现良好，但在其他更多种类、更大的数据集上的表现还有待证明。在论文发布的几天之内，就有人提出一些意见。

当前的胶囊网络实现还有改进的空间。不过别忘了Hinton的论文一开始就提到了：

这篇论文的目标不是探索整个空间，而是简单地展示一个相当直接的实现表现良好，同时动态路由有所裨益。

好了，我们已经谈了够多理论了。让我们找点乐子，构建一个胶囊网络。我将引领你阅读一些为MNIST数据配置一个胶囊网络的代码。我会在代码里加上注释，这样你可以逐行理解这些代码是如何工作的。本文将包括两个重要的代码片段。其余代码见GitHub仓库：

上面是一整个胶囊层。堆叠胶囊层以构成胶囊网络。

完整代码（含训练和验证模型）见此（https://github.com/debarko/CapsNet-Tensorflow）。代码以Apache 2.0许可发布。我参考了naturomics的代码（https://github.com/naturomics）。

总结

我们介绍了胶囊网络的概念以及如何实现胶囊网络。我们尝试理解胶囊是高层的嵌套神经网络层。我们也查看了胶囊网络是如何交付朝向和其他不变性的——对图像中的每个实体而言，保持空间配置的等价性。我确信存在一些本文没有回答的问题，其中最主要的大概是胶囊及其最佳实现。不过本文是解释这一主题的初步尝试。如果你有任何疑问，请评论。我会尽我所能回答。

原文地址：https://hackernoon.com/what-is-a-capsnet-or-capsule-network-2bfbe48769cc