GPUImage详细解析(十二)Sobel边界检测

前言

卷积运算是一个看似复杂的概念,今天来揭开这个神秘的面纱。
卷积矩阵:卷积矩阵是一个由权重数据组成的矩阵,中心像素周围像素的亮度乘以这些权重然后再相加就能得到中心像素的转化后数值。
本文对GPUImage中的Sobel边界检测滤镜进行解析。

效果

正文

GPUImage的Sobel边界检测滤镜是
GPUImageSobelEdgeDetectionFilter
GPUImageSobelEdgeDetectionFilter继承GPUImageTwoPassFilter,由两个滤镜组成,分别是黑白滤镜和边界检测滤镜。首先是把输入的图像变成亮度图,再由边界检测的滤镜转换成边界图。GPUImageSobelEdgeDetectionFilter对外的属性有三个,分别是:
texelWidth:边界检测时八方向的像素值宽度,默认是1/size.width;(1像素的宽度)
texelHeight:边界检测时八方向的像素值高度,默认是1/size.height;(1像素的高度)
edgeStrength:边界检测后,对边界的亮度增强程度,默认是1.0;(不变)
3x3矩阵中,纹理的距离宽度和高度;

边界检测的原理:一个像素为边界的表现是左右、上下的颜色差异很大,那么通过特定的卷积矩阵来运算,快速得到左右和上下方向的差异值之后,就可以通过这个值的大小来确定边界;
Sobel边界检测的卷积矩阵如下:
水平的卷积矩阵:

-1, 0, +1
-2, 0, +2
-1, 0, +1

垂直的卷积矩阵:

−1, −2, −1
 0,  0,  0
+1, +2, +1

如果左右的颜色差异值很小/大,那么通过水平卷积矩阵得到的值就会很小/大;
如果上下的颜色差异值很小/大,那么通过垂直卷积矩阵得到的值就会很小/大;
于是通过两个卷积矩阵分别得到水平差异值h和垂直差异值v后,再用sqrt(h2+v2)就可以得到边界值。

绘制的流程

  • 1、摄像机采集图像,得到YUV颜色空间的图像;
  • 2、把YUV的图像分成亮度纹理和色度纹理,并用YUV到RGBA的转 换矩阵,把两个纹理合成RGBA的图像;
  • 3、根据RGB不同的权值,把RGB颜色空间的图像,转换为亮度图;
  • 4、对每一个像素,根据八方向的像素值,用水平卷积矩阵算出水平方向的差异值h;用垂直卷积矩阵算出垂直方向的差异值v;根据sqrt(h2+v2)求出明亮程度,得到边界图;
  • 5、调整边界图的大小,显示到屏幕上。
整个流程用图来表示

流程图中的Texture#10,表示的是纹理对象10;绑定在纹理单元5是通过GPU Frame Capture查看。如下图,我们可以看到纹理单元2、3、4、5中分别绑定着纹理对象3、4、9、10,并且当前渲染的目标是纹理对象3。


遇到的问题

1、GPU Frame Debugger 无法正常工作

这个也是别人遇到过的问题点击http://www.openradar.me/28262556 可以查看。

2、无法消除的warning
System group container for systemgroup.com.apple.configurationprofiles path is /private/var/containers/Shared/SystemGroup/systemgroup.com.apple.configurationprofiles Reading from public effective user settings

这两个问题,其实是同一个问题:GPU Frame Capture在默认情况下会调用Metal的API,在正常的设备调试,会出现以下两行代码

Metal GPU Frame Capture Enabled
Metal API Validation Enabled

在调试demo过程中,我用的是Xcode8.1 + iOS 10.2.1;
iOS的版本高于Xcode版本
解决方案:升级Xcode或者换用低版本的iOS系统。

总结

在处理每个像素时,根据八方向求出边界值的过程与像素处理顺序无关;
这个处理的过程可以用片段着色器进行并行计算,极大地提高处理效率。

本身摄像头得到的YUV颜色空间里面就包括了亮度图,但是在本文的demo中却是经历了YUV到RGBA的转换,再由RGBA到亮度图的转换,这里是一个可优化的地方。

代码不复杂,见github

引用:《objc期刊》

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,884评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,347评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,435评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,509评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,611评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,837评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,987评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,730评论 0 267
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,194评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,525评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,664评论 1 340
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,334评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,944评论 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,764评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,997评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,389评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,554评论 2 349

推荐阅读更多精彩内容