积分图-(1)原理与应用[转载]

转载:积分图(一) - 原理及应用
作者:Just_ForFun

积分图原理

第一个提出 Haar 特征快速计算方法的是 CVPR2001上 的那篇经典论文 《Rapid object detection using a boosted cascade of simple features》(http://www.cs.utexas.edu/~grauman/courses/spring2007/395T/papers/viola_cvpr2001.pdf), Viola 提出了一种利用积分图(integral image)快速计算 Haar 特征的方法, 这个方法使得图像的局部矩形求和运算的复杂度从 O(MN) 下降到了 O(4)

Haar 特征的计算需要重复计算目标区域的像素值,使用积分图能大大减少计算量,达到实时计算 Haar 特征的目的。简单来说,就是先构造一张“积分图”(integral image),也叫 Summed Area Table,之后任何一个 Haar 矩形特征都可以通过查表的方法(Look Up Table)和有限次简单运算得到,大大减少了运算次数。所以但凡需要重复计算目标区域内像素值和的场合,积分图都能派上用场。下面开始介绍积分图原理,并给出其的几个应用。

1、积分图原理

图像是由一系列的离散像素点组成, 因此图像的积分其实就是求和. 图像积分图中每个点的值是原图像中该点左上角的所有像素值之和.

首先建立一个数组 A 作为积分图像,其宽高与原图像相等. 然后对这个数组赋值,每个点存储的是该点与图像原点所构成的矩形中所有像素的和:

SAT(x, y) = \sum_{x_i \leq x, y_i \leq y}I(x_i, y_i) \tag{1}

其中I(x,y)表示图像(x,y) 位置的像素值。积分图像可以采用增量的方式计算:

SAT(x, y) = SAT(x, y−1) + SAT(x−1, y) − SAT(x−1, y−1) + I(x, y) \tag{2}

初始边界:SAT(−1,y)=SAT(x,−1)=SAT(−1,−1)=0

为了更好地说明这个等式,下面我用几幅图来说明:

图1.坐标(x,y)处在原图像中示例
图2.坐标(x,y-1)处的积分图像SAT(x,y-1)示例
图3.坐标(x-1,y)处的积分图像SAT(x-1,y)示例
图4.坐标(x-1,y-1)处的积分图像SAT(x-1,y-1)示例

可以看到,SAT(x,y−1)+SAT(x,y−1)后,有一部分重合的区域,即SAT(x−1,y−1),所以需减掉,最后还需要将当前坐标(x,y)的像素值I(x,y)包含进来。

定义了积分图的概念,就可以很方便的计算任意区域内的像素和,如下图所示:

积分图数组初始化之后, 我们就得到了一张积分图:

点1的积分 SAT1=Sum(Ra)
点2的积分 SAT2=Sum(Ra)+Sum(Rb)
点3的积分 SAT3=Sum(Ra)+Sum(Rc)
点4的积分 SAT4=Sum(Ra)+Sum(Rb)+Sum(Rc)+Sum(Rd)

那么为了计算某个矩形像素和,比如区域 Rd 内所有点的像素值之和(积分)可以表示为:

Sum(Rd)=SAT1+SAT4−SAT2−SAT3 \tag{3}

所以无论矩形的尺寸大小,只需查找积分图像 4 次就可以快速计算任意矩形内像素值的和, 即算法复杂度为 O(4)。

2、积分图应用

2.1 Haar-like特征值计算

以如下一种 Haar-like 边缘特征为例

假设需要计算的这种 Haar-like 特征在图中的位置如下所示:

那么,A,B区域所构成的 Haar-like 边缘特征是:

Harr_{A−B}=Sum(A)−Sum(B)=[SAT_4+SAT_1−SAT_2−SAT_3]−[SAT_6+SAT_3−SAT_4−SAT_5] \tag{4}

显然,对一个灰度图而言,事先将其积分图构建好,当需要计算灰度图某个区域内所有像素点的像素值之和的时候,利用积分图,通过查表运算,可以迅速得到结果。

2.2 使用积分图像实现自适应阈值化

自适应阈值是一种局部方法。它的原理是根据每个像素的邻域(如 5x5)计算阈值,如将每个像素的值与指定的邻域的平均值进行比较,如果某像素的值与它的局部平均值差别很大,就会被当作异常值在阈值化过程中被分离。

如若不采用积分图像,则每个像素比较时,都需要进行 5 x 5 次加法运算;而采用积分图像,运算复杂度不随邻域大小而改变,每次只需计算 2 次加法和 2 次减法。

2.3 Boxfilter 快速计算

积分图可以使复杂度为O(MN)的求和, 求方差等运算降低到O(1)或近似于O(1)的复杂度,但它的缺点是不支持多尺度。

Boxfilter 的原理有点类似 Integral Image,而且比它还要快,但是实现步骤比较复杂。在计算矩形特征之前,Boxfilter 与 Integral Image 都需要对图像进行初始化(即对数组A赋值), 不同于 Integral Image, Boxfilter 的数组 A 中的每个元素的值是该像素邻域内的像素和(或像素平方和), 在需要求某个矩形内像素和的时候,直接访问数组中对应的位置就可以了。因此可以看出它的复杂度是O(1)。

Boxfilter 的细节可以移步这里.

2.4 滑动窗口

其实就是上面的 Boxfilter 中使用的方法.

我本人在做车牌字符分割时,设计了一个动态模板在车牌图像上滑动,并且每次滑动都计算一次模板内包含的非零像素点个数,没用积分图的时候,每次计算都要遍历,效率真的太低,滑动 1000 多次,计算耗时竟达到了几百 ms,这在实时处理中是不能容忍的。而后去补了积分图的知识,使用积分图来计算每次滑动后区域内的非零像素点个数,效率不要太高,只耗费了几 ms 就完事了。深深感叹算法的博大精深!

参考

  1. 积分图原理及应用
  2. 极限优化:Haar特征的另一种的快速计算方法—boxfilter
  3. Viola–Jones, object detection framework--Rapid Object Detection using a Boosted Cascade of Simple Features中文翻译 及 matlab 实现(见文末链接)
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,826评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,968评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,234评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,562评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,611评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,482评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,271评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,166评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,608评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,814评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,926评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,644评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,249评论 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,866评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,991评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,063评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,871评论 2 354

推荐阅读更多精彩内容