新手。很经典的的文章。写给自己看胡乱记一下。以后再排版....
前面Theoretical Background 部分
图片复原是回归问题,输入corrupted input,得到predication。每一个图像是一个单独的样本点。如果是有参考恢复,那么要就是一组(xi,yi)求Loss函数最小值,如果input数据之间没有相关性,那就是对每一个样本点单独的回归问题。但是我们现在去噪这些input之间是有相关性滴,他们是同类型噪声的不同corrupted样本。
即使我们用pairs of corrupted image and clean image的思路来解决问题,他们也不是一一对应的,一张corrupted image其实可以解释为一组不同的原图经过不同的degradation后得到,如果用一对多的pairs来训练,那么就是得到这些预测值的期望。那么问题是这么多的clean image 获得成本很高。仔细观察这个式子会发现,如果clean image 上叠加了任意一组均值为0的误差(甚至不需要是和corrupted image 同类型的误差),在取期望之后,output是不变的。
加性高斯分布那部分的关于预算约束意思是,以相机的一次捕捉为一个CU(捕获单元),捕捉20次。其中第一次作为noisy image 其他19次的平均作为clean image。我们现在有2000CU的预算,可以搞出来100对这样的pairs(x,y),进行传统的复原。但是我们也可以搞38000对noise2noise的pairs,20张noise图片两两配对,pairs数目大大增加,我们对神经网络的exploitation 大大增加。这里之所以是20*19而不用除以2,是因为这里的x,y有顺序区别,哪个做输入哪个做比较对象是不一样的,得到的回归map也不一样。
然后呢这里主要就是论证传统方法和noise2noise方法在复原效果和收敛速度上没有明显区别,甚至N2N方法更好。这启发我们可以用blind复原了。
后面关于不同的噪声的实验就是senario的问题了,注意作者根据噪声的统计特点选取了不一样的Loss函数。有空想做一个噪声类型和统计特点的整理。