Task 7 FCN_3
1. 了解tensorflow的API
为了更好更高效地进行数据分析，我学习了如何使用tf.summary观察训练过程，用tf.records制作和读取训练集，以及用tf.dataset按批读取数据。
2. 训练心得
2.1. 背景
第一次做MIT Scene Parsing Benchmark的比赛数据集时，由于经验不足，栽了很多跟头。先是图像读取的代码总是出错，没法正确运行。
好不容易能跑起来，准确率又很低：像素准确率有50左右，但miou只有20。
由于任务要求用FCN-8s，优化不能改变网络模型，学习率又从1e-4一直调到了1e-6都没改善，最终确定优化的方向在于图像处理的方式。
我主要研究了两个样例代码，分别是FCN.tensorflow以及semantic-segmentation-pytorch。总结出来图像处理的方式有以下几种。
2.2 图像的按批处理
图像的按批处理方式有3种：
- 一张一张处理
- 按一小批处理（SGD）
- 全部一起处理（不可能，因为图像集太大）
第一种方式的处理速度快，收敛也快，但因为每批只有一张图，参数会反复跳动，导致无法达到最佳值。
第二种方式处理稍慢，但收敛结果会比第一种好些，因为参数反复无常的次数会少些。最开始我参考的FCN.tensorflow的代码就是使用每批两张图的。
2.3 图像的读取处理
- 全部缩小到统一比例，比如224*224
- 全部放大到统一比例，只要能够被32整除(以便通过卷积和逆卷积后正确恢复图像比例)
第一种就是FCN.tensorflow的做法。它对所有图片都缩放到224 * 224（很多图片的尺寸都大于224 * 224），这样虽然简单快捷，但在处理较小物体时会表现得很差，因为缩小图片会丢失细节。
第二种就是semantic-segmentation-pytorch的做法。它对每一批的图片都会放大到统一的尺寸，做法如下：
- 得到这一批图片的最大的长和宽，比如（512， 702）。
- 让最大长和最大宽都能被32整除，以便能顺利通过卷积层和逆卷积层，并正确保持图像比例，因为FCN-8s的卷积层全部通过时，图像连续5次缩小一半，相当于被缩小了2^5 = 32倍，如果尺寸不是32的倍数，在恢复时可能出现尺寸无法匹配的情况。 尺寸无法匹配的意思就是：比如某图片在最后一层卷积层前尺寸是（31， 31），经过卷积层（padding="SAME"， strides=2, 2）缩小变成（16， 16），再放大就变成（32， 32）了。由于skip-architecture，（31， 31）要与（32， 32）相加，就出现了尺寸不同的情况。 所以，（512， 702）的尺寸中，512可以整除32，而702不能整除。经过计算得到比702大的最近能够整除32的数为704，所以最终尺寸确定为（512， 704）
2.4 图像的缩放处理
图像的缩放方式很关键，自己写的时候因为这里疏忽，导致训练结果基本作废，那就是：对于annotation的缩放方式必须使用"nearest"，对image的缩放则应该使用"bilinear"（别的也可以）。
代码中也就是这两句
image = misc.imresize(image, [resize_height, resize_width], interp="bilinear")
annotation = misc.imresize(annotation, [resize_height, resize_width], interp="nearest")为什么annotation的缩放方式必须使用"nearest"？因为annotation标记了每个像素的确切分类，是整数值。如果使用"bilinear"缩放，会使缩放结果出现很多本来没有的值。比如原本图像只有2，5两个分类，像素点的值都是2到5，由于"bilinear"缩放，使得填充的点出现了3点几，4点几的值，但原图片根本没有3和4这两个分类，而且3.几不是整数，不能表示一个分类。这就扭曲了图片原本的含义了。
2.4 图像处理的选用
最终我选择了按批处理，每批2张图的方式，对image使用"nearest"缩放，对annotation使用"bilinear"缩放，且尺寸统一放大，以便保留小物体的细节。
3. 指标理解：mean_iou
参考：深度学习中IU、IoU(Intersection over Union)的概念理解以及python程序实现
iou就是Intersection over Union，mean就是各个类别的平均iou。
比如，一个物体类别的实际区域和预测区域可能如下：
image.png
那么iou就是预测与实际的重叠部分 / 预测与实际的合并区域：
对每个类别，都如此计算iou，最后取平均即可。
4. 训练结果
对100张validation的图片进行了测试，并计算了4项指标：
以下四项分别是pixel_acc, mean_acc, mean_iou, weighted_iou：
这是部分的预测结果：