iOS - 学习直播前基本知识入门(了解)

1. 什么是视频?

 视频:
 1>.有结构的数据
 2>.提供了视觉和听觉感受
 3>.当成数据、一个个小单元去传
理性认知视频
 CONTAINER/WRAPPER:容器 (内容元素)
 METADATA:(元数据) 是指视频的一些信息(时长、格式、作者、简介)
 IMAGE:图像 (分辨率、色彩、 亮度、帧频率)
 AUDIO:音频

编码格式:
  VIdeo:H.264,H.265...
  Audio:AAC.HE-ACC...

 容器封装:
  MP4,MOV,FLV,RM,RMVB,AVI...

 视频形成过程:
1.由图像和音频构成的内容元素
2.图像经过视频编码压缩格式处理(通常是H.264)
3.音频经过音频编码格式处理(例如AAC)
4.最后经过一遍容器Container封装打包(例如MP4),构成一个完整的视频文件。

举例理解:
把视频想象成一瓶蕃茄酱。最外层的瓶子好比容器封装(Container),瓶子上注明的原材料和加工厂地等信息好比元信息(Metadata),瓶子打开后(解封装后),蕃茄酱本身好比经过压缩处理后的编码内容,蕃茄和调料加工成蕃茄酱的过程就好比编码(codec),而原材料番茄和提哦啊聊则好比最原本的内容元素(content)。

2. 什么是视频直播?

 1>.边生产、边传输、边消费的一个过程
 2>.实时传输的视频

2.1. 怎么传输的?
编码器将多张图像进行编码后生产成一段一段的GOP(Group of Pictures),解码器在播放时则时读取一段一段的GOP进行解码后读取画面在渲染显示。

编码时发生了什么

B、P、I


GOP(Group of Pictures)时一组连续的画面,由一张I帧和数张B\P帧组成,是视频图像编码器和解码器存取的基本单位,它的排列顺序将会一直重复到影像结束。

I帧是内部编码帧(也成关键帧),P帧是前向预测帧(前向参考帧),B帧是双向内插帧(双向参考帧)。简单地讲,I帧是一个完整的画面,而P帧和B帧记录的是相对于I帧的变化。

如果没有I帧,P帧和B帧就无法编码,B/P帧相当于辅助帧。

小结一下,一个视频(Video),其图像部分的数据是一组GOP的集合,而单个GOP则是一组I\P\B帧图像的集合。

简而言之:直播就是将每一帧数据(Video/Audio/Data Frame),打上时序标签(Timestamp)后进行流式传输的过程。发送端源源不断的采集音视频数据,经过编码、封包】推流,再经过中继分发网络进行扩散传播,播放端再源源不断地下载数据并按时序进行解码播放。如此就实现了“边生产、边传输、边消费”的直播过程。

2.2. 什么协议?

直播过程

协议差异


2.3. 延迟?

延迟什么时候产生的



造成卡顿的因素有可能是推流端发送数据中断,也有可能是公网传输拥塞或网络抖动异常,也有可能是终端设备的解码性能太差。卡顿顿次越少或没有,则说明用户体验越好。

直播性能指标:延迟、卡顿、首屏耗时

  第一个直播性能指标是延迟,延迟是数据从信息源发送到目的地所需的时间。
  第二个直播性能指标卡顿,是指视频播放过程中出现画面滞帧,让人们明显感觉到“卡”。
  第三个直播性能指标首屏耗时,指第一次点击播放后,肉眼看到画面所等待的时间。

2.4. 完整直播过程
完整直播过程:采集、处理、编码、封包、推流、传输、转码、分发、拉流、解码、播放。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,463评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,868评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,213评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,666评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,759评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,725评论 1 294
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,716评论 3 415
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,484评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,928评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,233评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,393评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,073评论 5 340
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,718评论 3 324
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,308评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,538评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,338评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,260评论 2 352

推荐阅读更多精彩内容

  • 视频 视频实质:纯粹的视频(不包括音频)实质上就是一组帧图片,经过视频编码成为视频(video)文件再把音频(au...
    勇敢的_心_阅读 2,908评论 1 30
  • 如何快速适应机关工作,成为单位骨干,并且不断取得进步,是新同事既关心又困惑的事。结合自己的体会和机关工作实际与大家...
    染指昙花笑阅读 630评论 0 3
  • 策略一、运动减肥更要正常饮食 节食,摄取的热量低于基础代谢率,就会会造成肌肉的流失,即使瘦下来也是松垮垮的!当你节...
    超__越阅读 442评论 0 2
  • 百度:鲶鱼效应,鲶鱼在搅动小鱼生存环境的同时,也激活了小鱼的求生能力。鲶鱼效应是采取一种手段或措施,刺激一...
    胡永群阅读 604评论 0 50