论文笔记 Structure Extraction from Texture via Relative Total Variation

文章来源:Acm Transactions on Graphics  2012


下载链接:原文下载MATLAB代码下载


解决的问题:

在这篇论文中,作者提出了一种基于总变差形式的新模型,该模型可以有效的分解图像中的结构信息和纹理,并且无需特别指定纹理是否规则或者对称。


文章内容:

目前,很多自然场景和人工艺术品都包含纹理。比如,墙上,火车和地铁表面上的涂鸦和图案。图1展示了一些代表不同形式场景的实例。它们都有一个共同的特征:图像中有意义的结构和纹理单元融合在一起。所以我们通常称这类图像为“结构+纹理”图像。

图1 示例图像

在不去除纹理的前提下,人类的视觉感知系统完全有能力理解这些图像,然而让计算机识别该类图像还存在一定的困难。从心里学角度分析,图像的整体结构才是人类视觉感知的主要数据,而不是那些个体细节(纹理)。因此从图像中提取那些有意义的结构数据是一项具有意义的工作,同时对于计算机来说也是一件非常具有挑战性的任务。

针对于此,作者提出了基于总变差形式的新模型。该方法具有一般性和随意性,它适用于非统一的或各向异性的纹理。

该文章主要有两点创新:

(1) 首先作者提出了新的总变差措施来捕捉图像的结构和纹理特征。该方法使纹理和主要结构表现出完全不同的性质,使它们更容易地分解。

原总变差模型为:

公式(1)

其中,I代表输入图像,p代表2D图像像素的索引,S代表输出结构图像。其中可以写成如下各向异性的形式:

公式(2)

改进的模型为:

公式(3)

其中,

公式(4)


公式(5)

q为以p点为中心的一个正方形区域内所有的像素点的索引,gp,q是根据空间亲和力定义的加权函数,其表达式为:

公式(6)

(2)  作者提出了一种新的优化方案,将原始非线性问题转化为更容易解决的一组子问题。

将RTV(Relative Total Variation)分解为非线性项和二次项,优点在于非线性问题可以转换为求解一系列线性方程组,在某种程度上类似于迭代最小二乘法。首先介绍怎么样求解公式(3): 主要讨论X方向,Y方向的计算类似。

公式(7)

由于引入了小εs,上述公式的第二行实际是一个近似计算。同时重新构造二次项和非线性部分。它们可以分别表示为如下形式:

公式(8)
公式(9)

上式中Gσ为标准差为σ的高斯核函数,*为卷积符号。最终可以将公式(3)转化为如下矩阵形式:

公式(10)

其中是vs和vi代表S和I的两个列矢量。Cx和Cy是向前差分梯度算子的Toeplitz Matrices。Ux、Uy、Wx、Wy都为对角矩阵,它们对角线上的值分别为:Ux[i,j]=uxi,Uy[i,j]=uyi,Wx[i,j]=wxi,Wy[i,j]=wyj。然后,对该矩阵求导得到如下线性方程:

公式(11)

公式(11)可以至直接求矩阵的逆运算,或者用预处理共轭梯度法来求解。


文章特点:

(1) 相比于以前方法,本文方法可以更有效的从结构纹理图像中提取出结构数据。

(2) 相比于以前方法,本文算法降低了时间复杂度,提高了结构特征提取的效率。


存在的不足:由于该方法假定没有特定类型的纹理和潜在的结构设置,它不能区分尺度相似的纹理和结构,或相近的新变差措施。


参考博文:基于总变差模型的纹理图像中图像主结构的提取方法 图像主结构的提取方法


内容说明:

首先,感谢参考博文的两位作者,他们描述的很详细,通俗易懂。他们的工作对我理解该文章起到了很大的作用。另外,上述内容仅个人的点滴粗见,如有不当之处,请同行批评指正。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,928评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,192评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,468评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,186评论 1 286
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,295评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,374评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,403评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,186评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,610评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,906评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,075评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,755评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,393评论 3 320
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,079评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,313评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,934评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,963评论 2 351

推荐阅读更多精彩内容