论文阅读 | Non-Rigid Dense Correspondence with Applications for Image Enhancement

Non-Rigid Dense Correspondence with Applications for Image Enhancement (非刚性变化下图片间对应点查找在图像增强方面的应用)

简介

本文主要介绍的是建立两张拥有相同内容的图片之间的对应关系集的建立。

Fig. 1 利用本文提出的方法进行颜色转换。(a)是参考图片，和(b)有相同的部分图片内容，但两张图片的拍摄环境不同。(c)是在两张图片中找到的相同部分(d)是parametric颜色变化曲线。(e)是调整后的图片

文中提到，大部分建立图片之间对应关系运用于以下两个场景：两张图片非常近似或两张图片不是那么相似但包含大多数的刚性物体。但同样存在第三种场景：两张图片有一些相同的部分，但是又有很大的变化，比如非刚性物体的变化，光线和镜头的变化。在这种场景下，已有的方法并不能很好的找到两幅图之间的关系，而本文提出的方法在不同环境和条件下都能找到两幅图之间的对应关系。

算法流程

本文提出的方法是建立在Generalized Patch Match方法的基础之上

Fig. 3 介绍本文方法的四个基本步骤：nearest-neighbor search, region aggregation, color transform ﬁtting, and search range adjustment

Nearest Neighbor Search（最近邻居搜索）
找到一种变换T(*)，对于源图片S中的每一个小块u，都找到对应图片R中的一个小块T(u)，使得变换后的u和T(u)差别最小。其中T(*)变换包含：translation, rotation, uniform scale, and color bias and gain per channel.
一个小块u从一张图到另一张图的变换叫做Nearest Neighbor Field(NNF)
Aggregating consistent regions（扩大一致范围）
由几个patch构成的block如果都符合同样的变换参数的概率是很低的，所以讲几个patch连接起来构成的整个板块如果可以服从同样的变换参数则能够提高匹配的鲁棒性。
因此，将临近的小块定义为是consistent（连续，一致）的，如果他们的NNF是相似的。
对于两个patch: u和v, 如果他们的变换到另一张图后的中心点 ${u_c}$ 和 ${v_c}$ 分别是 ${T^u(u_c)}$ 和 ${T^v(v_c)}$ , 那么 ${T_u}$ 和 $T_v$ 相近的条件是 ${T^u(u_c)}$ 和 ${T^v(u_c)}$ 离得距离很小。因此定义 ${C(u,v) =\frac{||T^u(u_c) - T^v(u_c)||_2}{||T^u(v_c) - T^u(u_c)||_2}}$ 为判定两个patch是否是consistent的。目的是聚集更多的patch形成region，使得两张图中的区域和区域相对应。
Global color mapping （全局颜色映射）
建立参数模型对照两张图之间的颜色变换，因为颜色变换是global的。对于RGB三个颜色中的每一种颜色构建单色变换模型，然后在对图片的饱和度做线性变换。
Search constraints （搜索限制）
一些附加限制。