[论文笔记]Noise2Noise: Learning Image Restoration without Clean Data

新手。很经典的的文章。写给自己看胡乱记一下。以后再排版....

前面Theoretical Background 部分

图片复原是回归问题,输入corrupted input,得到predication。每一个图像是一个单独的样本点。如果是有参考恢复,那么要就是一组(xi,yi)求Loss函数最小值,如果input数据之间没有相关性,那就是对每一个样本点单独的回归问题。但是我们现在去噪这些input之间是有相关性滴,他们是同类型噪声的不同corrupted样本。

即使我们用pairs of corrupted image and clean image的思路来解决问题,他们也不是一一对应的,一张corrupted image其实可以解释为一组不同的原图经过不同的degradation后得到,如果用一对多的pairs来训练,那么就是得到这些预测值的期望。那么问题是这么多的clean image 获得成本很高。仔细观察这个式子会发现,如果clean image 上叠加了任意一组均值为0的误差(甚至不需要是和corrupted image 同类型的误差),在取期望之后,output是不变的。

加性高斯分布那部分的关于预算约束意思是,以相机的一次捕捉为一个CU(捕获单元),捕捉20次。其中第一次作为noisy image 其他19次的平均作为clean image。我们现在有2000CU的预算,可以搞出来100对这样的pairs(x,y),进行传统的复原。但是我们也可以搞38000对noise2noise的pairs,20张noise图片两两配对,pairs数目大大增加,我们对神经网络的exploitation 大大增加。这里之所以是20*19而不用除以2,是因为这里的x,y有顺序区别,哪个做输入哪个做比较对象是不一样的,得到的回归map也不一样。

然后呢这里主要就是论证传统方法和noise2noise方法在复原效果和收敛速度上没有明显区别,甚至N2N方法更好。这启发我们可以用blind复原了。

后面关于不同的噪声的实验就是senario的问题了,注意作者根据噪声的统计特点选取了不一样的Loss函数。有空想做一个噪声类型和统计特点的整理。

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容