CNN中几种upsample方法

参考conv_arithmetic上的动图

符号约定: i,o,k,p,s分别表示:卷积的输入大小input size,输出大小 output size,卷积核大小 kernel sizepaddingstride
下面的图片蓝色(底部)为输入,绿色(顶部)为输出。

1、常规卷积:

(1)、i=4,o=2,k=3,p=0,s=1"VALID模式"


(2)、i=5,o=5,k=3,p=1,s=1 "SAME模式"或者"HALF模式"

(3)、i=5,o=7,k=3,p=2,s=1 "FULL模式"

(4)、i=5,o=2,k=3,p=0,s=2

(5)、i=5,o=3,k=3,p=1,s=2

2、反卷积/转置卷积:

(1)、i=2,o=4,k=3,no_padding,s=1


(2)、i=5,o=5,k=3,same_padding,s=1

(3)、i=7,o=5,k=3,full_padding,s=1

(4)、i=2,o=5,k=3,no_padding,s=2

(5)、i=3,o=5,k=3,padding,s=2

实际上通过反卷积操作并不能还原出卷积之前的图片,只能还原出卷积之前图片的尺寸。
反卷积(转置卷积)通常用在以下几个方面:

  1. CNN可视化,通过反卷积将卷积得到的feature map还原到像素空间,来观察feature map对哪些pattern相应最大,即可视化哪些特征是卷积操作提取出来的;
  2. FCN全卷积网络中,由于要对图像进行像素级的分割,需要将图像尺寸还原到原来的大小,类似upsampling的操作,所以需要采用反卷积;
  3. GAN对抗式生成网络中,由于需要从输入图像到生成图像,自然需要将提取的特征图还原到和原图同样尺寸的大小,即也需要反卷积操作。
     
    当反卷积的s = 1时,反卷积和一般的卷积并没有什么不同,只是padding的称呼方式有所变化,方向和卷积相反。由反卷积的图5可以看到反卷积的一些缺点,在s > 1时,会降低图片的分辨率,并且不同于一般的convolution,反而增大了输出的feature mapsize
    对于s = 2padding=1k=4的反卷积,输入AXA图像,输出为2AX2A。

3、膨胀卷积:

又称为空洞卷积扩张卷积英文为:Dilation[daɪ'leɪʃn] Convolution/Atrous['ətrəs] Convolution/Convolution with holes

作用:

首先膨胀卷积的目的是为了在扩大感受野的同时,不降低图片分辨率不引入额外参数及计算量(一般在CNN中扩大感受野都需要使用s>1conv或者pooling,导致分辨率降低,减少了feature map的信息。如果使用大卷积核,确实可以达到增大感受野,但是会引入额外的参数及计算量)。
膨胀卷积多了一个参数dilation rate, 指的是kernel的间隔数量(e.g. 一般的convolutiondilatation rate = 1)。把dilation rate简记为r
图像参考:i = 7,o = 3,k = 3,p = 0,s = 1,r = 2


扩充后的卷积核size = k + (k-1) x (r-1),特别地,对于3*3的卷积核,如果p = r,则特征图尺寸大小不改变。既然膨胀卷积的初衷之一就是不降低图片分辨率,那么我们可以认定膨胀卷积的s = 1
 
总起来说,dilation conv是对卷积核进行upsample,deconv是对feature map进行upsample;或者说,dilation conv是skip掉map中的一些元素,而deconv是对map中的元素进行补0操作。

参考:
1、反卷积/转置卷积: transposed conv/deconv
2、彻底搞懂CNN中的卷积和反卷积
3、谈谈膨胀卷积
4、dilation conv 和 deconv
5、如何理解空洞卷积(dilated convolution)?-知乎

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,470评论 6 501
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,393评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,577评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,176评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,189评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,155评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,041评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,903评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,319评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,539评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,703评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,417评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,013评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,664评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,818评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,711评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,601评论 2 353