FCN-反卷积
一对多的操作,卷积的逆操作:小数步长1/f,卷积核尺寸不变,前向和后向传播:对应于卷及操作的后向和前向传播,优化上做颠倒,在举证化操作中,反卷积核矩阵是卷积核矩阵的转置,学习率为0,准确叫法:转置卷积
卷积操作矩阵化:卷积参数:输入输出:4*4->2*2,核尺寸:3*3,填充为0,矩阵乘:输出展开为16维向量x,输入展开为4维向量y,卷积->
反卷积操作矩阵化:卷积参数:输入输出:2*2->4*4,核尺寸:3*3,填充为:核尺寸-1,矩阵乘:输出展开为4维向量y,输入展开为16维向量x,卷积->
FCN-卷积/转置卷积的参数关系
步长:1,padding=0
步长:1,padding>0
步长>1,padding>0
语义分割
DeepLab全卷积网络
基本结构:优化后的DCNN+传统的CRF图模型,新的上采样卷积方案:带孔结构的膨胀卷积,多尺度图片表达:Atrous空间金字塔池化,边界分割的优化:使用全连接条件随机场CRF进行迭代优化。
模块1:DCNN输出粗糙的分割结果
模块2:全连接CRF精化分割结果
孔算法:解决原始FCN网络的输出低分辨率问题(100padding),降低池化层的降采样倍数,VGG16网络Pool4和Pool5层的步长:2->1,减少降采样倍数:32->8,后续卷积核的感受野(Field-Of-View)会受影响(变小),这些卷积核无法用来fine-tune,更改卷积核的结构->加孔(Hole)无上采样功能,恢复感受野,可用来fine-tune,保证了网络最终的高分辨输出(仅8倍降采样)
卷积核结构:尺寸不变(3*3),元素间距变大(1->2)步长不变(1),优势:参数数量不变,计算量不变,高分辨率输出,采用层:Conv5孔尺寸2,Conv6孔尺寸4。
膨胀卷积:孔算法的正式命名,与降低池化层步长配对使用,以取代上采样反卷积,孔尺寸->rate,rate越大,感受野越大
Atrous空间金字塔池化:
不同感受野(rate)捕捉不同尺度上的特征,在conv6层引入4个并行膨胀卷积
rate:6,12,18,24
4个并行膨胀卷积感受野:13*13,25*25,37*37,49,*49
FC6->FC7->GC8,深度:4096->1024->对应数目,卷积核:3*3->1*1->1*1,最终融合:概率相加。
DeepLab-全连接CRF
作用:通过迭代精化分割结果(恢复精准边界),输入:首次:FCN网络输出结果的8倍双线性插值,非首次:上一轮迭代结果。
能量计算基于图片RGB像素值