RAW域降噪

在RAW域去噪声的原因

Raw 图像会经过isp各个block,每一步的信号处理操作都会造成噪声不同的变化。

1. Lens shading correction 对噪声的影响

因为lens shading correction 是在图像的上乘以一个gain,远离中心的地方gain 越大,因此会导致,gain大的位置,噪声也变得更大。

原始信号是这样的:

image

经过shading correction,如下图,图像边缘的噪声会被显著增强

image

由图像中心到边缘就会形成沿径向增强的噪声图像,也被称作radial noise。

2. demosaic对噪声的影响
由于demosaic 对原始信号进行了插值操作,会导致图像的噪声变为结构性噪声。

image

如图d所示,图像会出现一些特别的pattern noise

3. 非线性变换

Gamma :

Gamma可以近似理解为不同的亮度值乘以的gain不一样,亮度越小的地方乘以的gain越大,亮度越大的地方乘以的gain越小,因此gamma之后的噪声又发成了一个非线性变化,模型为:

image

4.线性变换
比如awb,digital gain 这些运算时线性变换,图像的噪声会线性变化。

5. CCM

无论是色彩管理还是RGB到SRGB色域空间的转换,一般情况下是一个3*3的矩阵,这一步又增强了噪声的相关性,而且还会增强视觉的彩色噪声的饱和度,使噪声的视觉效果变得更糟糕。

结论:

图像从sensor 输出, 经过isp后,图像的噪声性质变得更加复杂,难以处理,所以在isp的前端进行去噪处理是比较合适的选择。(去彩色噪声一般在isp的后端,因为这时候图像可以很容易分离出亮度通道和彩色通道。)

相关启发:
1,raw domain的噪声不是单纯的高斯噪声,而是和亮度有关系的。
2,在raw domain进行一定程度的降噪,对于图像质量会有很大的提高,比如上图中的结构性噪声。
3,在raw domain设计降噪算法会稍微容易一些。在不同的亮度进行不同强度的降噪,或者把噪声归一化,有利于保护细节。
4,noise profile并不是单纯用在denoise这一个模块上,还以用在时域降噪,demosaic等模块上。
5,实际使用时并不一定要在raw domain降噪,很多ISP也都是以YUV domain降噪为主体的。

RAW域噪声特性:

image.png

高斯噪声与信号无关,泊松噪声与信号有关。

image.png

有了这个数学描述,可以建立起信号强度与噪声强度之间的对应关系,在系统运行期可以以此为输入调节去噪算法更好地去噪。


image.png

降噪的评价标准:

PSNR : 峰值信噪比 Peak Signal to Noise Ratio
SNR : 信噪比 SIGNAL-NOISE RATIO


image.png

snr的标准是:dB越高,降噪程度越好。
一般会出现两种问题:
1,SNR好并不能代表真实的视觉噪声,有些同样的snr,但是视觉表现出来就不同:visual noise
2,snr好并不能代表最终图像质量好,有时会过度涂抹;snr虽高,但是图像质量并不好。

image.png

同样的方差,完全不同的视觉效果。
结论:因为不同的频率噪声对人眼的视觉影响完全不一样,并且人眼对彩噪和亮度噪声的感觉也完全不一样。

image.png

枯叶图:

image.png

关于枯叶图:
https://www.xianjichina.com/special/detail_342261.html
在手机行业中,降噪已经成为信号处理中一个很重要的部分。由于使用的算法不同及要消除的噪声量也不同,降噪处理会导致在低对比度细节方面有损失,也就是纹理损失。在过去的许多年里,降噪的效果也成为客观图像质量评估的一个重要部分。不同的厂家使用的方法可能都不一样,我们所呈现的是根据我们的经验得到的结果。我们发现一个问题,如果使用中性的图卡,待测的设备测试的结果是和真正的生活经历是不匹配的。我们采用的是有颜色的图卡。

评估新的图卡和测试方法:
使用相机去拍摄,为了得到一个关于图像质量整体的印象,测试必须包含所谓的纹理损失测试和分辨率测试。一些专家也已经讨论了不同的方法,有一个建议是使用“枯叶图”,因为它类似于树的枯叶。为了评估新的图卡和新的方法,使用不同的相机进行测试。这就包含了在纹理损失有很低性能的相机和一些单反相机。
因此我们知道必须要更换图卡和分析图片的算法。自然物体和枯叶图之间的主要区别就是枯叶图是灰色的。几乎在市场上所有以摄影为目的的相机都是以拜耳模式分布工作的并且需要在每个像素中插入丢失的颜色信息。去马赛克当然会对相机的SFR有影响。降噪算法可以在处理强度和颜色上有区别,因此一个纯灰的图卡是不能反映相机在彩色物体上的性能。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,456评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,370评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,337评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,583评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,596评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,572评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,936评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,595评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,850评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,601评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,685评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,371评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,951评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,934评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,167评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,636评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,411评论 2 342

推荐阅读更多精彩内容