多媒体基础知识
1、什么是多媒体？
多媒体技术：是以计算机为中心，把数字、文字、图形、图像、声音、动画、视频等不同媒体形式的信息集成在一起，进行加工处理的交互性综合技术
加工处理：
- 模拟信号<->数字信号
- 连续<->离散
- 采集、抽样、量化，编码，存储，传输，解码，播放
2、视频：连续的图像画面
视频中的信息
计算机中图像的表示
像素点阵表示法
一张图片在计算机中会已m行xn列的形式进行抽样，在确定每格的颜色，在保存图像数据。
- 像素：一个单元格，单色。
- 分辨率：列数X行数=宽度x高度，分辨率越高，描述的图像越精确。
- SAR: sample aspect ratio，横向采集与纵向采集的比值，即分辨率的最简比值，如分辨率1280x720和1920x1080的SAR都为:16:9
PAR: pixel aspect ratio，像素宽高比，大多数情况为1:1
DAR: display aspect ratio，显示宽高比
公式：DAR = PAR x SAR
计算机如何表示一个像素？
RGB 颜色空间
三原色原理：任何颜色可以通过红、绿、蓝三基色按照不同的比例合成产生
YUV 颜色空间
Y代表明亮度，U与V存储色度
颜色位数
-
二值：1bit, 0/1， 黑白2种
image.png
- 灰度图：8bit, 256种
- 真彩色：rgb，24bit, 256x256x256=16777216种
视频的主要概念
- 视频码率：kb/s 是指视频文件在单位时间内使用的数据流量，也叫码流率。码率越大，说明单位时间内的采样率越大，数据流精度就越高。
- 视频帧率：fps，通常说一个视频的25帧，指的就是这个视频帧率，即一秒钟会显示25帧。帧率越高，给人的视觉就越流畅。
- 视频分辨率：分辨率就是我们常说的640x480分辨率、1920x1080分辨率。
修改视频码率
ffmpeg -i input.mp4 -b:v 0.1M output_0.1M.mp4
修改视频码率会出现什么现象？
为什么会模糊、马赛克？
修改视频帧率
ffmpeg -i input.mp4 -r 10 output_10_fps.mp4
修改视频帧率会出现什么现象？
修改分辨率
ffmpeg -i input.mp4 -s 500x600 output_500_600.mp4
修改视频分辨率会出现什么现象？
科普
【科普】“视频”是怎么来的？H.264、码率这些词又是什么意思？
3、音频：模拟声波
现实中我们听到的声音是连续波，但是在计算机中只能通过采样来复原波形。
音频量化的过程
现实生活中，我们听到的声音都是时间连续的，我们把这种信号叫模拟信号。模拟信号(连续信号)需要量化成数字信号(离散的、不连续的信号)以后才能在计算机中使用。如下图所示量化过程分为5个步骤：
1 模拟信号
现实生活中的声音表现为连续的、平滑的波形，其横坐标为时间轴，纵坐标表示声音的强弱。
2 采样
按照一定的时间间隔在连续的波上进行采样取值，如下图所示取了10个样。
3 量化
将采样得到的值进行量化处理，也就是给纵坐标定一个刻度，记录下每个采样的纵坐标的值。
4 编码
将每个量化后的样本值转换成二进制编码。
5 数字信号
将所有样本二进制编码连起来存储在计算机上就形成了数字信号。
音频量化的主要概念
奈奎斯特采样定理
定义：采样频率fs大于信号中最高频率fmax的2倍时，采样之后的数字信号便能完整的反应真实信号。
因为人耳听见的最高声音频率是20KHz，所以44.1KHz成了最常见的采样率。
采样频率
每秒钟抽取声波幅度样本的次数。
采样频率越高，声音质量越好，数据量也越大
常用的采样频率有：
22000（22kHz）：无线广播
44100（44.1kHz）：CD音质
48000（48kHz）：数字电视，DVD
96000（96kHz）：蓝光，高清DVD
192000（192kHz）：蓝光，高清DVD
采样精度
每个采样点用多少位二进制表示采样数据
量化位数越多，音质越好，数据量也越大
常用的大小为8bit，16bit，24bit。
通道数
使用声音通道的个数
立体声比单声道的表现力丰富，但数据量翻倍
单声道、双声道、四声道、5.1声道
比特率
每秒传输的bit数，单位为：bps（Bit Per Second），间接衡量声音质量的一个标准。
比特率计算公式：
没有压缩的音频数据的比特率 = 采样率 * 采样大小 * 声道数
比如采样率44.1kHz，采样大小为16bit，双声道PCM编码的WAV文件：
码率=44.1hHz*16bit*2=1411.2kbit/s。
那么录制1分钟的音乐的大小为(1411.2 * 1000 * 60) / 8 / 1024 / 1024 = 10.09M。
