理解ResNet结构与TensorFlow代码分析

该博客主要以TensorFlow提供的ResNet代码为主，但是我并不想把它称之为代码解析，因为代码和方法，实践和理论总是缺一不可。 github地址，其中：

resnet_model.py为残差网络模型的实现，包括残差模块，正则化，批次归一化，优化策略等等；

resnet_main.py为主函数，主要定义了测试、训练、总结、打印的代码和一些参数。

cifar_input.py为数据准备函数，主要把cifar提供的bin数据解码为图片tensor，并组合batch

为了保证行号的一致性，下面的内容如果涉及到行号的话，均以github上的为准，同时为了节省篇幅，下面如果出现代码将去掉注释，建议在阅读本博客是同时打开github网址，因为下面的内容并没有多少代码。

既然是在说残差模型，那么当然就要说resnet_model.py这个代码，整个代码就是在声明一个类——ResNet：

第38行到55行：

class ResNet(object):

  def __init__(self, hps, images, labels, mode):
    self.hps = hps
    self._images = images
    self.labels = labels
    self.mode = mode

    self._extra_train_ops = []

上面是构造函数在初始化对象时的四个参数，实例化对象时也就完成初始化，参数赋值给类中的数据成员，其中self._images为私有成员。此外又定义了一个新的私有数组成员：self._extra_train_ops用来执行滑动平均操作。

构造函数的参数有hps，images，labels，mode。

hps在resnet_main.py在初始化的：

  hps = resnet_model.HParams(batch_size=batch_size,
                             num_classes=num_classes,
                             min_lrn_rate=0.0001,
                             lrn_rate=0.1,
                             num_residual_units=5,
                             use_bottleneck=False,
                             weight_decay_rate=0.0002,
                             relu_leakiness=0.1,
                             optimizer='mom')

其中的HParams字典在resnet_mode.py的32行定义，变量的意义分别是：

HParams = namedtuple('HParams',
                     '一个batch内的图片个数', 
                     '分类任务数目', 
                     '最小的学习率', 
                     '学习率', 
                     '一个残差组内残差单元数量', 
                     '是否使用bottleneck',  
                     'relu泄漏',
                     '优化策略')

images和labels是cifar_input返回回来的值（115行），注意这里的值已经是batch了，毕竟image和label都加了复数。 mode决定是训练还是测试，它在resnet_main.py中定义（29行）并初始化（206行）。

除了__init__的构造函数外，类下还定义了12个函数，把残差模型构建中用到功能模块化了，12个函数貌似很多的样子，但是都是一些很简单的功能，甚至有一些只有一行代码（比如可以看下65行），之所有单拉出来是因为功能是独立的，或者反复出现，TensorFlow提供的代码还是非常规范和正规的！

按照自上而下的顺序依次是：

build_graph(self): 构建TensorFlow的graph

_stride_arr(self, stride): 定义卷积操作中的步长

_build_model(self): 构建残差模型

_build_train_op(self): 构建训练优化策略

_batch_norm(self, name, x): 批次归一化操作

_residual(self, x, in_filter, out_filter, stride,activate_before_residual=False): 不带bottleneck的残差模块，或者也可以叫做残差单元，总之注意不是残差组！

_bottleneck_residual(self, x, in_filter, out_filter, stride,activate_before_residual=False): 带bottleneck的残差模块

decay(self): L2正则化

_conv(self, name, x, filter_size, in_filters, out_filters, strides): 卷积操作

_relu(self, x, leakiness=0.0): 激活操作

_fully_connected(self, x, out_dim): 全链接

_global_avg_pool(self, x, out_dim): 全局池化

注意： 1.在代码里这12个函数是并列的，但是讲道理的话它们并不平级（有一些函数在调用另一些）。比如卷积，激活，步长设置之类肯定是被调用的。而有三个函数比较重要，分别是：build_graph(self):、_build_model(self):、_build_train_op(self):。第一个是由于TensorFlow就是在维护一张图，所有的数据以tensor的形式在图上流动；第二个决定了残差模型；第三个决定了优化策略。

2.个人认为_stride_arr(self, stride):函数不应该出现在该位置（65行），如果把它放后面，前三个函数就分别是构件图，构建模型，构建优化策略。这样逻辑上就很清晰。

3.这套代码没有常规的池化操作，一方面是因为RenNet本身就用步长为2的卷积取代池化，但是在进入残差组之前还是应该有一个常规池化的，只是这个代码没有。

4.这个代码有一个很不讲理的地方，第一层卷积用了3*3的核，不是7*7，也不是3个3*3（73行）

5.这套代码使用的是bin封装的cifar数据，所以要想改成自己的数据集需要把input的部分换掉。

6.这套代码没有设终止条件，会一直训练/测试，直到手动停止。

到这里代码的结构起码说清楚了，带着上面的注意事项，我们就可以看代码。 图构建没什么好说的，我们直接进入_build_model(self)好了（69行）： 71-73行定义残差网络的第一个卷积层 。 75-82行使用哪种残差单元（带bottleneck还是不带bottleneck），并分别对两种情况定义了残差组中的特征通道数。

90-109行构建了三个残差组，每个组内有4个单元，这个数量是由hps参数决定的。

111-124行是残差组结束后模型剩余的部分（池化+全连接+softmax+loss function+L2），这已经和残差网络的特性没什么关系了，每个卷积神经网络差不多都是这样子。

126行将损失函数计算出的cost加入summary。

所以残差模型最关键的东西，最能表征残差特性的东西，都在90-109行，当然这十几行里是调用了其他函数的。这个本文的最后后再说，下面为保证代码部分的连贯性，先往下说_build_train_op(self)（128行）：

130-131行获取学习率并加入到summary。

133-134行根据cost与权系数计算梯度。

136-136行选择使用随机梯度下降还是带动量梯度下降。

141-143行执行梯度下降优化。

145行将梯度下降优化操作与bn操作合并（带op的变量是一种操作）。

146行得到最后的结果，在这里定义了一个新的数组成员：self.train_op，而这个变量最终被用到了resnet_main.py中（113行）：

while not mon_sess.should_stop():
      mon_sess.run(model.train_op)

如果没有达到终止条件的话，代码将一直执行优化操作，model是类实例化出来的一个对象，在resnet_main.py中的model和在resnet_model.py中的self是一个东西。

到这里重要的代码就都说完了，最后说回残差网络最核心的东西：两种残差单元。 残差网络的结构非常简单，就是不断的通过一组一组的残差组链接，这是一个Resnet50的结构图，不同的网络结构在不同的组之间会有不同数目的残差模块，如下图：

这里写图片描述

举个例子，比如resnet50中，2-5组中分别有3，4，6，3个残差模块。

朴素残差模块（不带bottleneck）：

这里写图片描述

左侧为正常了两个卷积层，而右侧在两个卷积层前后做了直连，这个直连解释残差，左侧的输出为H(x)=F(x)，而加入直连后的H(x)=F(x)+x，一个很简单的改进，但是取得了非常优异的效果。 至于为什么直连要跨越两个卷积层，而不是一个？这个是实验验证的结果，在一个卷积层上加直连性能并没有太大提升。

bottleneck残差模块： bottleneck残差模块让残差网络可以向更深的方向上走，原因就是因为同一通道数的情况下，bottleneck残差模块要比朴素残差模块节省大量的参数，一个单元内的参数少了，对应的就可以做出更深的结构。

这里写图片描述

上面这样图能够说明二者的区别，左侧的通道数是64（它常出现在50层内的残差结构中），右侧的通道数是256（常出现在50层以上的残差结构中），从右面的图可以看到，bottleneck残差模块将两个3*3换成了1*1，3*3，1*1的形式，第一个1*1用来降通道，3*3用来在降通道的特征上卷积，第二个1*1用于升通道。而参数的减少就是因为在第一个1*1将通道数降了下来。我们可以举一个例子验证一下：

假设朴素残差模块与bottleneck残差模块通道数都是256，那么：

朴素残差模块的参数个数： 3*3*256*256+3*3*256*256 = 10616832 bottleneck残差模块的参数个数： 1*1*256*64+3*3*64*64+1*1*64*256 = 69632 可以看到，参数的减少非常明显。

再回到上面的图：

这里写图片描述

Resnet34余Resnet50层每一组中的模块个数并没有变化，层数的上升是因为以前两个卷积层变成了3个，前者的参数为3.6亿，后者参数为3.8亿。这样来看的话参数为什么反而多了？这是因为组内的通道数发生了变化，前者各组通道数为[64，128，256，512]，而后者的各组通道数为[256，512，1024，2048]。这也是残差网络在设计时的一个特点，使用bottleneck残差模块时，组内的通道数要明显高于使用朴素残差模块。

TensorFlow提供的代码也是这样，可以看下77行：

if self.hps.use_bottleneck:
      res_func = self._bottleneck_residual
      filters = [16, 64, 128, 256]
    else:
      res_func = self._residual
      filters = [16, 16, 32, 64]

通过上面的理论说明，就可以再回头看下代码中的:_residual()函数和_bottleneck_residual()函数了。