低亮度图片增强方法:基于Retinex理论的低亮度图片增强算法2

本文介绍另外一篇基于Retinex理论的低亮度图片增强算法:

  • LIME: Low-Light Image Enhancement via Illumination Map Estimation(LIME)

关于Retinex理论的介绍和其他基于Retinex理论的低亮度图片增强算法见前篇博客。

LIME

由 Retinex理论,一幅图像可分解为亮度分量和反射分量:
\mathbf{L}=\mathbf{R} \circ \mathbf{T}

不同于之前介绍的两篇文章,LIME仅估计亮度分量\mathbf{T}.

目标函数为:
\min _{\mathbf{T}}\|\hat{\mathbf{T}}-\mathbf{T}\|_{F}^{2}+\alpha\|\mathbf{W} \circ \nabla \mathbf{T}\|_{1}

其中:
\hat{\mathbf{T}}(x) \leftarrow \max _{c \in\{R, G, B\}} \mathbf{L}^{c}(x)

\mathbf{W}是权重矩阵,\alpha用于平衡两项表达式,\nabla \mathbf{T}\mathbf{T}的一阶导数,第一项表达式用于限制估计的亮度分量\mathbf{T}与初始亮度分量\hat{\mathbf{T}}的距离,第二项考虑亮度分量结构的光滑性。

文章使用alternating direction minimization technique方法进行目标函数的求解,将原目标函数改写为:
\min _{\mathbf{T}, \mathbf{G}}\|\hat{\mathbf{T}}-\mathbf{T}\|_{F}^{2}+\alpha\|\mathbf{W} \circ \mathbf{G}\|_{1} \quad \text { s.t. } \quad \nabla \mathbf{T}=\mathbf{G}

\mathcal{L}=\|\hat{\mathbf{T}}-\mathbf{T}\|_{F}^{2}+\alpha\|\mathbf{W} \circ \mathbf{G}\|_{1}+\Phi(\mathbf{Z}, \nabla \mathbf{T}-\mathbf{G})

\Phi(\mathbf{Z}, \nabla \mathbf{T}-\mathbf{G})=\frac{\mu}{2}\|\nabla \mathbf{T}-\mathbf{G}\|_{F}^{2}+\langle\mathbf{Z}, \nabla \mathbf{T}-\mathbf{G}\rangle
其中\langle\cdot, \cdot\rangle为矩阵的内积。\mu为符号为正的惩罚算子,Z为lagrangian乘子。

通过ALM算法,可改目标函数分解为三个子优化问题:

  • 求解T
    \mathbf{T}^{(t+1)} \leftarrow \underset{\mathbf{T}}{\operatorname{argmin}}\|\hat{\mathbf{T}}-\mathbf{T}\|_{F}^{2}+\Phi\left(\mathbf{Z}^{(t)}, \nabla \mathbf{T}-\mathbf{G}^{(t)}\right)
    由最小二乘法可求解:
    \begin{aligned} & 2(\mathbf{T}-\hat{\mathbf{T}})+\mu^{(t)} \mathbf{D}^{T}\left(\mathbf{D} \mathbf{T}-\mathbf{G}^{(t)}\right)+\mathbf{D}^{T} \mathbf{Z}^{(t)}=0 \\ \Rightarrow &\left(2 \mathbf{I}+\mu^{(t)} \mathbf{D}^{T} \mathbf{D}\right) \mathbf{T}=2 \hat{\mathbf{T}}+\mu^{(t)} \mathbf{D}^{T}\left(\mathbf{G}^{(t)}-\frac{\mathbf{Z}^{(t)}}{\mu^{(t)}}\right) \end{aligned}
    文章中使用了快速傅立叶变换加速计算,这里不做详述,具体可见原文。

  • 求解G
    \mathbf{G}^{(t+1)} \leftarrow \underset{\mathbf{G}}{\operatorname{argmin}} \alpha\|\mathbf{W} \circ \mathbf{G}\|_{1}+\Phi\left(\mathbf{Z}^{(t)}, \nabla \mathbf{T}^{(t+1)}-\mathbf{G}\right)
    由shrinkage operation可得:
    \mathbf{G}^{(t+1)}=\mathcal{S}_{\frac{\alpha \mathbf{W}}{\mu^{(t)}}}\left[\nabla \mathbf{T}^{(t+1)}+\frac{\mathbf{Z}^{(t)}}{\mu^{(t)}}\right]

  • 求解Z\mu:
    \begin{aligned} \mathbf{Z}^{(t+1)} & \leftarrow \mathbf{Z}^{(t)}+\mu^{(t)}\left(\nabla \mathbf{T}^{(t+1)}-\mathbf{G}^{(t+1)}\right) \\ \mu^{(t+1)} & \leftarrow \mu^{(t)} \rho, \rho>1 \end{aligned}

剩余求解过程和加速算法不做详述,具体可见原文。

W的设计:

  • 与l2-norm一致:
    \mathbf{W}_{h}(x) \leftarrow 1 ; \quad \mathbf{W}_{v}(x) \leftarrow 1
  • 使用初始亮度分量作为权重:
    \mathbf{W}_{h}(x) \leftarrow \frac{1}{\left|\nabla_{h} \hat{\mathbf{T}}(x)\right|+\epsilon} ; \mathbf{W}_{v}(x) \leftarrow \frac{1}{\left|\nabla_{v} \hat{\mathbf{T}}(x)\right|+\epsilon}
  • 使用Relative Total Variation,权重为:
    \mathbf{W}_{h}(x) \leftarrow \sum_{y \in \Omega(x)} \frac{G_{\sigma}(x, y)}{\left|\sum_{y \in \Omega(x)} G_{\sigma}(x, y) \nabla_{h} \hat{\mathbf{T}}(y)\right|+\epsilon}

\mathbf{W}_{v}(x) \leftarrow \sum_{y \in \Omega(x)} \frac{G_{\sigma}(x, y)}{\left|\sum_{y \in \Omega(x)} G_{\sigma}(x, y) \nabla_{v} \hat{\mathbf{T}}(y)\right|+\epsilon}
其中:
G_{\sigma}(x, y) \propto \exp \left(-\frac{\operatorname{dist}(x, y)}{2 \sigma^{2}}\right)

对亮度分量进行Gamma变换来增强亮度:
\mathbf{T} \leftarrow \mathbf{T}^{\gamma}
文中\gamma设置为0.8

增强后的图片为:
\mathbf{L}=\mathbf{R} \circ \mathbf{T}

使用BM3D算法进行去噪:
\mathbf{R}_{f} \leftarrow \mathbf{R} \circ \mathbf{T}+\mathbf{R}_{d} \circ(\mathbf{1}-\mathbf{T})
其中\mathbf{R}_{d}是去躁后的结果,\mathbf{R}_{f}是最终恢复的效果。

算法实现

https://drive.google.com/open?id=0BwVzAzXoqrSXb3prWUV1YzBjZzg

算法效果

低亮度图
增强效果图

参考文献

  1. https://ieeexplore.ieee.org/document/7782813
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,470评论 6 501
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,393评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,577评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,176评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,189评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,155评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,041评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,903评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,319评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,539评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,703评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,417评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,013评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,664评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,818评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,711评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,601评论 2 353

推荐阅读更多精彩内容