obs-studio模块分析与源码编译

一:直播简介

        在线教育,娱乐直播等近几年已是遍地开花,其中核心脱离不了低延时音视频技术。我们抛开互动技术不谈,来了解一下视频直播技术。

直播大致流程如下图:

      采集: Windows(dshow,dsound), ios,mac(AVFoundation,AVCaptureSesssion), android(Camera,AudioRecord),Linux(v4l2)

     音视频原始数据:audio(pcm),video(yuv,rgb)

     美颜:Gpuimage(移动端)

     编码:audio(AAC),video(x264)

     rtmp协议:librtmp

     CDN:蓝汛,网宿等

     解码:audio(faad),video(ffmpeg)

     渲染:d3d, opengl,opengles(移动端)

我们在这里介绍一个功能很全的推流工具obs。斗鱼直播,bilibili等都使用了obs。它支持win,mac, linux三个平台。

用obs推流到主流CDN,很快就完成了直播功能。当然自己也可以搭建一个SRS服务器,实现一个简单的内容分发。这样观看端使用网页就可以观看了。

二:obs功能介绍

支持类似于导播台一样的多场景切换。且同一场景中,可添加多个资源,每个资源可变换大小、位置、层级等。

输入:

支持多资源类型。如视频,图片(包括gif图),音乐,文本(包括中文),窗口捕捉,桌面共享,摄像头等。(也可以自己加入裸数据:如pcm,yuv,rgb等)

支持游戏画面抓取(游戏抓取多用d3d绘制,直接GDI抓屏很多时候抓取到的是黑色,但是使用hook api就会解决这个问题)

处理:

支持图像滤镜,如亮度,色度,饱和度调节,抠像等。当然我们自己也可以加入磨皮美颜等功能。后面会讲到。

支持音频滤镜,如降噪,增益等。

支持多路混音,媒体资源声音,系统声卡声音,麦克风声音等,多路混音。

输出:

支持rtmp推流

支持本地录制flv, mp4(软,硬编码都有)

支持裸数据输出(pcm,yuv,rgb)。

三:obs模块介绍

核心库

libobs:   obs的核心库,其他的插件都基于他的基础上,同时它也会操作管理各个插件资源。就好像爪子一样,伸向各个地方,暂且可以这么理解。

基础库

glad  对OpenGL函数的封装  使用 dlopen和dlsym是用于打开动态链接库中的函数,将动态链接库中的函数或类导入到本程序中,为了解决 没有lib库,只有dll库的尴尬情况。这种方法在obs中很多地方用到,例如:vlc插件的加载。

ipc-util   进程间通信,主要封装了pipe管道的实现,用于在hook 游戏进程时,传递原始画面数据,所以用到。

jansson 用于编码,解码和操作JSON数据

w32-pthreads:  开源库,Windows下的pthread线程库

ffmpeg-mux:  封装了ffmpeg有关复用的函数

下面三个模块使用hook技术,共同完成游戏画面的抓取

graphices-hook: 钩子库实现,用于获取其他进程的图像数据。

inject-helper : 将graphices-hook注入到其他进程。

get-graphices-offsets: 注入库时,通过虚表偏移获取d3d8,d3d9,dxgi的函数,从而实现API重定向,即用自己的函数替换原本的函数。

当然还需依附进程间通信,在win-capture中,使用pipe实现。

两种显卡渲染的实现,使用gpu,解放cpu压力,同时提高渲染效率与质量。 使用着色器语言渲染(定点和片着色器,分别控制位置矢量和色值,感兴趣的同学可以详细了解一下)。gpu映射

libobs-d3d11

libobs-opengl

obs-ffmpeg: nvenc(N卡硬编),aac编码,复用,以及编码,解码流程控制等。

obs-filters:  图像滤镜(如亮度,色度,饱和度调节,抠像等)

obs-outputs: 输出模块(如写录制文件flv,rtmp调用控制等)

obs-transitions:  场景间切换时的过渡效果

obs-x264:  x264编码器

rtmp-services:  rtmp推流

obs-qsv11:  intel 硬件编码,效果好于软编和N卡硬编

obs-text:  GDI+渲染文字

text-freetype2:  开源字体引擎,支持多种格式,较GDI+更高效,渲染效果也更好。

win-capture:  窗口、显示器、游戏(涉及到进程间通信)捕捉

win-dshow:   摄像头采集

win-decklink:  针对decklink采集卡的抓取

win-wasapi:  对声音输入(麦克风等)输出(扬声器等)设备的抓取

image-source: 图片资源(包括动态图),可多张图幻灯片放映。

obs: Qt实现的界面展示。


四:编译

废话不多说,我们先将源码编译通过,大家看效果。

下面以windows为例

1:先从官网下载OBS源码

git clone --recursivehttps://github.com/jp9000/obs-studio.git

git sub 查看工程是否带有submodule(clone 时submodule的内容并不会自动下载下来的)

如果有内容执行git submodule update --init


2:安装VS2013 Update4及以上。安装Qt 以及相应的qt vs插件。

3:下载依赖库dependencies.zip。

里面包含FFMpeg, x264,Qt5,Curl, Opus,ogg,vorbis, vpx等http://code.fosshub.com/OBS/downloads

如果下载不了,可到 http://download.csdn.net/detail/balijinyi/9890716 下载。

4:下载Windows上的cmake.

5:运行cmake-gui.exe 并设置编译选项。

其中依赖的库和头文件需要点击 Add Entry

到win32即可,同样添加 Qt路径QTDIR。点击Configure。再点击Generate。即可看到目录下多了build目录,里面有很多vs工程。

6:打开  obs-studio.sln 一路编译即可。 

在build下生成rundir目录,里面存放了生成的库以及可执行程序。obs 主要以加载插件的形式,来实现各种功能。

7:运行obs.exe

我们添加一个视频资源,画面如下。其他功能大家可自行摸索。

后续,我们将对源码展开深入分析。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,080评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,422评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,630评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,554评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,662评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,856评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,014评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,752评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,212评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,541评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,687评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,347评论 4 331
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,973评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,777评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,006评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,406评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,576评论 2 349

推荐阅读更多精彩内容