低亮度图片增强方法：基于相机相应模型的低亮度图片增强算法

这篇博客介绍一篇基于相机相应模型的低亮度图片增强算法：

A New Low-Light Image Enhancement Algorithm using Camera Response Model （CRM）

这篇文章指出，对于相机拍摄到的图片而言，其像素值并非是正比于物体反射的亮度值。对于从相机感光元件感受到的亮度值到图像实际像素值之间的非线性变换函数，称之为相机响应函数（camera response function, CRF）。

这篇文章：

首先通过分析不同曝光度的图片之间的关系得到一个相机响应模型
然后利用图片亮度分量估计方法得到图像的曝光比图（exposure ratio）
最后使用相机相应模型和曝光比图来对低亮度图片进行增强。

相机响应模型

将相机响应模型定义为：

$\mathbf{P}=f(\mathbf{E})$

其中 $\mathbf{E}$ 是图片的辐照度， $\mathbf{P}$ 是图片的像素值。

$f$ 应当满足：
$\mathcal{F} :=\{f | f(0)=0, f(1)=1, x>y \Leftrightarrow f(x)>f(y)\}$

文章使用亮度变换函数（brightness transform function, BTF）来估计 $f$ 。BTF是一个对于相同场景但是曝光度不同的两幅图之间的映射函数：

$\mathbf{P}_{1}=g\left(\mathbf{P}_{0}, k\right)$
其中 $\mathbf{P}_{1}$ 和 $\mathbf{P}_{0}$ 是同一场景下不同曝光程度的图像， $k$ 为曝光比。

则CRM可以由下式计算得到：
$g(f(\mathbf{E}), k)=f(k \mathbf{E})$

估计BTF

通过比较相同从场景下不同曝光程度的两幅图的直方图，可以用以下的函数来描述BTF：

$\mathbf{P}_{1}=g\left(\mathbf{P}_{0}, k\right)=\beta \mathbf{P}_{0}^{\gamma}$
其中 $\beta$ 和 $\gamma$ 是由相机参数和曝光比决定的参数。

估计CRM
由
$f(k E)=\beta f(E)^{\gamma}$
可解得：
$f(E)=\left\{\begin{array}{ll}{e^{b\left(1-E^{a}\right)},} & {\text { if } \gamma \neq 1} \\ {E^{c},} & {\text { if } \gamma=1}\end{array}\right.$
当 $\gamma \neq 1$ 时：
$a=\log _{k} \gamma, \quad b=\frac{\ln \beta}{1-\gamma}$
当 $\gamma=1$ 时：
$c=\log _{k} \beta$
在大多数情况，仅考虑当 $\gamma \neq 1$ 的情形。

文章中有比较该CRM模型相比于其他模型的优势，这里不做详述。

参数求解
由上式：
$\beta=e^{b\left(1-k^{a}\right)}, \quad \gamma=k^{a}$
对于给定的相机，其CRM是固定的，参数 $a$ 和 $b$ 也是固定的。对于给定的输入图片 $\mathbf{P}_{0}$ 和任意的的曝光比 $k_{x}$ ，我们可以得到相应的图片 $\mathbf{P}_{*}$ :
$g\left(\mathbf{P}_{0}, k_{*}\right)=\mathbf{P}_{*}=\beta_{*} \mathbf{P}_{0}^{\gamma_{*}}=e^{b\left(1-k_{*}^{a}\right)} \mathbf{P}_{0}^{\left(k_{*}^{a}\right)}$

图像的亮度增强

基于Retinex理论：
$\mathbf{E}=\mathbf{R} \circ \mathbf{T}$
其中， $\mathbf{R}$ 和 $\mathbf{T}$ 分别对应图片的反射图和亮度图。

这里，考虑 $\mathbf{R}$ 作为理想亮度下的图像。

当考虑到相机相应模型时，有：

$\mathbf{P}=f(\mathbf{E}), \quad \mathbf{P}^{\prime}=f(\mathbf{R})$

其中 $\mathbf{P}$ 是实际该分解的图像， $\mathbf{P}^{\prime}$ 是实际理想亮度下的图像。

则：
$\mathbf{P}^{\prime}=f(\mathbf{R}) = f(\mathbf{E} \circ(\mathbf{1} \oslash \mathbf{T})) = g(f(\mathbf{E}), \mathbf{1} \oslash \mathbf{T})=g(\mathbf{P}, \mathbf{1} \oslash \mathbf{T})$

则可以发现 $\mathbf{T}$ 和 $\mathbf{K}$ 之间的关系：
$\mathbf{K}=1 \oslash \mathbf{T}$

图像亮度分量的估计
这篇文章借鉴了Lime: Low-light image enhancement
via illumination map estimation文章中求取亮度图的方法：
初始亮度图：
$\mathbf{L}(x)=\max _{c \in\{R, G, B\}} \mathbf{P}_{c}(x)$
作者设计了新的权重函数：
$\mathbf{W}_{d}(x)=\frac{1}{\left|\sum_{y \in \omega(x)} \nabla_{d} \mathbf{L}(y)\right|+\epsilon}, \quad d \in\{h, v\}$
目标函数可写为：
$\min _{\mathbf{T}} \sum_{x}\left((\mathbf{T}(x)-\mathbf{L}(x))^{2}+\lambda \sum_{d \in\{h, v\}} \frac{\mathbf{W}_{d}(x)\left(\nabla_{d} \mathbf{T}(x)\right)^{2}}{\left|\nabla_{d} \mathbf{L}(x)\right|+\epsilon}\right)$
具体求解过程不做详解，可参见原文和LIME的文章。