Task 7 FCN_3

1. 了解tensorflow的API

为了更好更高效地进行数据分析，我学习了如何使用tf.summary观察训练过程，用tf.records制作和读取训练集，以及用tf.dataset按批读取数据。

2. 训练心得

2.1. 背景

第一次做MIT Scene Parsing Benchmark的比赛数据集时，由于经验不足，栽了很多跟头。先是图像读取的代码总是出错，没法正确运行。

好不容易能跑起来，准确率又很低：像素准确率有50左右，但miou只有20。

由于任务要求用FCN-8s，优化不能改变网络模型，学习率又从1e-4一直调到了1e-6都没改善，最终确定优化的方向在于图像处理的方式。

我主要研究了两个样例代码，分别是FCN.tensorflow以及semantic-segmentation-pytorch。总结出来图像处理的方式有以下几种。

2.2 图像的按批处理

图像的按批处理方式有3种：

一张一张处理
按一小批处理（SGD）
全部一起处理（不可能，因为图像集太大）

第一种方式的处理速度快，收敛也快，但因为每批只有一张图，参数会反复跳动，导致无法达到最佳值。

第二种方式处理稍慢，但收敛结果会比第一种好些，因为参数反复无常的次数会少些。最开始我参考的FCN.tensorflow的代码就是使用每批两张图的。

2.3 图像的读取处理

全部缩小到统一比例，比如224*224
全部放大到统一比例，只要能够被32整除(以便通过卷积和逆卷积后正确恢复图像比例)

第一种就是FCN.tensorflow的做法。它对所有图片都缩放到224 * 224（很多图片的尺寸都大于224 * 224），这样虽然简单快捷，但在处理较小物体时会表现得很差，因为缩小图片会丢失细节。

第二种就是semantic-segmentation-pytorch的做法。它对每一批的图片都会放大到统一的尺寸，做法如下：

得到这一批图片的最大的长和宽，比如（512， 702）。
让最大长和最大宽都能被32整除，以便能顺利通过卷积层和逆卷积层，并正确保持图像比例，因为FCN-8s的卷积层全部通过时，图像连续5次缩小一半，相当于被缩小了2^5 = 32倍，如果尺寸不是32的倍数，在恢复时可能出现尺寸无法匹配的情况。

尺寸无法匹配的意思就是：比如某图片在最后一层卷积层前尺寸是（31， 31），经过卷积层（padding="SAME"， strides=[2, 2]）缩小变成（16， 16），再放大就变成（32， 32）了。由于skip-architecture，（31， 31）要与（32， 32）相加，就出现了尺寸不同的情况。

所以，（512， 702）的尺寸中，512可以整除32，而702不能整除。经过计算得到比702大的最近能够整除32的数为704，所以最终尺寸确定为（512， 704）

2.4 图像的缩放处理

图像的缩放方式很关键，自己写的时候因为这里疏忽，导致训练结果基本作废，那就是：对于annotation的缩放方式必须使用"nearest"，对image的缩放则应该使用"bilinear"（别的也可以）。

代码中也就是这两句

image = misc.imresize(image, [resize_height, resize_width], interp="bilinear")
annotation = misc.imresize(annotation, [resize_height, resize_width], interp="nearest")

为什么annotation的缩放方式必须使用"nearest"？因为annotation标记了每个像素的确切分类，是整数值。如果使用"bilinear"缩放，会使缩放结果出现很多本来没有的值。比如原本图像只有2，5两个分类，像素点的值都是2到5，由于"bilinear"缩放，使得填充的点出现了3点几，4点几的值，但原图片根本没有3和4这两个分类，而且3.几不是整数，不能表示一个分类。这就扭曲了图片原本的含义了。