SurfaceView技术点总结及源码解析

我们知道,当在view绘制时进行耗时操作或者复杂的动画,会出现丢帧或卡顿现象,用户体验极为不好。Android系统每隔16ms就会发出一次VSYNC信号触发对UI进行渲染,如果这16ms内我们没有完成对视图的绘制,那么就会出现丢帧的情况。之所以这样是因为,人眼与大脑之间的协作无法感知超过60fps的画面更新。60帧每秒就意味着:16ms=1000/60Hz。Android提供了SurfaceView来解决这种情况。SurfaceView可以实现复杂的2D动画、播放视频、摄像头预览等。

初识SurfaceView

五年前,就已经了解SurfaceView,知道它可以配合MediaPlayer播放一个视频流媒体,其中SurfaceHolder是SurfaceView装载需要显示的一帧帧图像的容器。

大部分软件是如何解析一段视频流呢?

首先它需要先确定视频的格式,这个和解码相关,不同的格式视频编码不同。知道了视频的编码格式后,再通过编码格式进行解码,最后得到一帧一帧的图像,并把这些图像快速的显示在界面上,即为播放一段视频。SurfaceView在Android中可以完成这个功能。

SurfaceView双缓冲机制

SurfaceView跟大部分视频应用一样,把视频流解析成一帧帧的图像然后显示。如果把视频解析过程放到一个线程中完成,可能在上一帧图像已经显示过后,下一帧图像还没有来得及解析,这样会导致画面的不流畅或者声音和视频不同步的问题。所以SurfaceView和大部分视频应用一样,通过双缓冲的机制来显示帧图像。那么什么是双缓冲呢?双缓冲可以理解为有两个线程轮番去解析视频流的帧图像,当一个线程解析完帧图像后,把图像渲染到界面中,同时另一线程开始解析下一帧图像,使得两个线程轮番配合去解析视频流,以达到流畅播放的效果。

下图演示了双缓冲的过程,线程1和线程2配合解析渲染视频流的帧图像:

image

SurfaceHolder

SurfaceView内部实现了双缓冲的机制,但是实现这个功能是非常消耗系统内存的。因为移动设备的局限性,Android在设计的时候规定,SurfaceView如果为用户可见的时候,创建SurfaceView的SurfaceHolder用于显示视频流解析的帧图片,如果发现SurfaceView变为用户不可见的时候,则立即销毁SurfaceView的SurfaceHolder,以达到节约系统资源的目的。

如果开发人员不对SurfaceHolder进行维护,会出现最小化程序后,再打开应用的时候,视频的声音在继续播放,但是不显示画面了的情况,这就是因为当SurfaceView不被用户可见的时候,之前的SurfaceHolder已经被销毁了,再次进入的时候,界面上的SurfaceHolder已经是新的SurfaceHolder了。所以SurfaceHolder需要我们开发人员去编码维护,维护SurfaceHolder需要用到它的一个回调,SurfaceHolder.Callback(),它需要实现如下三个方法:

  1. void surfaceDestroyed(SurfaceHolder holder)
    当SurfaceHolder被销毁的时候回调

2.void surfaceCreated(SurfaceHolder holder)
当SurfaceHolder被创建的时候回调

3.void surfaceChange(SurfaceHolder holder)
当SurfaceHolder的尺寸发生变化的时候被回调

SurfaceView与普通View的区别

SurfaceView,它拥有独立的绘图表面,即它不与其宿主窗口共享同一个绘图表面。由于拥有独立的绘图表面,因此SurfaceView的UI就可以在一个独立的线程中进行绘制。又由于不会占用主线程资源,SurfaceView一方面可以实现复杂而高效的UI,另一方面又不会导致用户输入得不到及时响应。

普通的Android控件,例如TextView、Button等,都是将自己的UI绘制在宿主窗口的绘图表面之上,这意味着它们的UI是在应用程序的主线程中进行绘制的。由于应用程序的主线程除了要绘制UI之外,还需要及时地响应用户输入,否则的话,系统就会认为应用程序没有响应了,因此就会弹出一个ANR对话框出来。对于一些游戏画面,或者摄像头预览、视频播放来说,它们的UI都比较复杂,而且要求能够进行高效的绘制,因此,它们的UI就不适合在应用程序的主线程中进行绘制。这时候就必须要给那些需要复杂而高效UI的视图生成一个独立的绘图表面,以及使用一个独立的线程来绘制这些视图的UI。

一般来说,每一个窗口在SurfaceFlinger服务中都对应有一个Layer,用来描述它的绘图表面。对于那些具有SurfaceView的窗口来说,每一个SurfaceView在SurfaceFlinger服务中还对应有一个独立的Layer或者LayerBuffer,用来单独描述它的绘图表面,以区别于它的宿主窗口的绘图表面。SurfaceFlinger服务负责绘制Android应用程序的UI。SurfaceFlinger服务运行在Android系统的System进程中,它负责管理Android系统的帧缓冲区(Frame Buffer)。

SurfaceView原理

官方文档:

SurfaceView:Provides a dedicated drawing surface embedded inside of a view hierarchy. The surface is Z ordered so that it is behind the window holding its SurfaceView; the SurfaceView punches a hole in its window to allow its surface to be displayed.

翻译解释:

SurfaceView提供一个嵌入视图层级的专用的绘图表面。绘图表面是在Z轴上有序的,SurfaceView在宿主窗体的后面。SurfaceView在宿主窗体上“挖”了一个洞,以此来显示自己的表面。实际上,SurfaceView在其宿主Activity窗口上所挖的“洞”只不过是在其宿主Activity窗口上设置了一块透明区域,以显示自己内容

SurfaceView的绘图表面的创建

我们知道,Activity、Window、View三者紧密联系在一起。我们在Activity中设置setContentView(),最终会调用PhoneWindow的setContentView()。经过WindowManagerImpl#addView,WindowManagerGlobal#addView,ViewRootImpl#setView方法,最顶层视图DecorView被添加到Window上。最后通过WMS调用ViewRootImpl#performTraverals方法开始View的测量、布局、绘制流程。

ViewRootImpl类的成员函数performTraversals在执行的过程中,如果发现当前窗口的绘图表面还没有创建,或者发现当前窗口的绘图表面已经失效了,那么就会请求WindowManagerService服务创建一个新的绘图表面,同时,它还会通过一系列的回调函数来让嵌入在窗口里面的SurfaceView有机会创建自己的绘图表面。

虽然SurfaceView不与它的宿主窗口共享同一个绘图表面,但是它仍然是属于宿主窗口的视图结构的一个结点的,也就是说,SurfaceView仍然是会参与到宿主窗口的某些执行流程中去。

1 SurfaceView.onAttachedToWindow
image

说明:SurfaceView在Z轴上位置是小于其宿主窗口的Z轴位置的。为了保证SurfaceView的UI是可见的,SurfaceView就需要在其宿主窗口的上面打一个孔出来,实际上就是在其宿主窗口的绘图表面上设置一块透明区域,以便可以将自己显示出来。SurfaceView类的成员函数onAttachedToWindow调用mParent.requestTransparentRegion(SurfaceView.this)去通知父View,当前正在处理的SurfaceView需要在宿主窗口的绘图表面上打一个孔,即需要在宿主窗口的绘图表面上设置一块透明区域。

2. SurfaceView.onWindowVisibilityChanged
image

说明:类SurfaceView调用updateSurface来更新当前正在处理的SurfaceView。在更新的过程中,如果发现当前正在处理的SurfaceView还没有创建绘图表面,那么就会请求WindowManagerService服务为它创建一个。

3.SurfaceView.updateRequestedVisibility
image

说明:mWindowVisibility表示SurfaceView的宿主窗口的可见性,mViewVisibility表示SurfaceView自身的可见性。只有当mWindowVisibility和mViewVisibility的值均等于true,且宿主窗口没有停止,mRequestedVisible的值才为true,表示SurfaceView是可见的。

4.SurfaceView.updateSurface

mSurface:这个Surface对象描述的是SurfaceView专有的绘图表面,在SurfaceView对象创建时就会被实例化。updateSurface方法根据实际条件判断创建或更新mSurface。

SurfaceView的绘制

如何在一个绘图表面上进行UI绘制?

1.在绘图表面的基础上建立一块画布,即获得一个Canvas对象

2.利用Canvas类提供的绘图方法在前面获得的画布上绘制任意的UI

3.最后通过SurfaceFlinger服务将它合成到屏幕上去

SurfaceView如何绘制?

1.通过SurfaceView的getHolder方法获得SurfaceHolder
2.通过SurfaceHolder的lockCanvas方法获得Canvas
3.上面会走到Surface的lockCanvas方法获得Canvas
4.在Canvas上绘制UI
5.通过SurfaceHolder的unlockCanvasAndPost将绘制好的canvas投递到surface上
6.上面会走到Surface的unlockCanvasAndPost方法
参考文档

https://developer.android.com/reference/android/view/SurfaceView

https://www.cnblogs.com/plokmju/p/android_SurfaceView.html

https://blog.csdn.net/luoshengyang/article/details/8661317/

https://www.jianshu.com/p/700defb6f14b

https://www.jianshu.com/p/02800806356c

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,377评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,390评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,967评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,344评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,441评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,492评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,497评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,274评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,732评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,008评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,184评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,837评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,520评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,156评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,407评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,056评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,074评论 2 352