本文主要介绍的是音视频的一些概念的东西，让大家对音视频大概有个了解。

1、原始数据

原始数据表示的是，我们通过视频采集卡或者拾音器采集到的数据，播放的时候也是播放原始数据。变声、马赛克等处理的也是原始数据。

1.1音频

• 格式
• PCM
• 重要参数
• 采样率：

一秒钟内对声音信号的采样次数，采样频率越高声音的还原就越真实。

常见的采样率有 8K、16K、22.05K、32K、44.1K、48K

• 声道数：

单声道、双声道（立体声）

• 量化位：

决定了声音的动态范围

常见的有16bit、24bit、32bit

1.2视频

• 重要参数
• 分辨率：640*480、1280*720、1920*1080、2K、4K
• 像素格式：RGB、YUV
• RGB：红绿蓝
• 常见格式：rbg8、rgb16（565）、rgb24、rgb32等

RGB8: 灰度图、调色板

RGB16(565)：[rrrrr gggggg bbbbb]

RGB24：[R G B] [ R G B] [R G B]……

RGB32：[R G B A] [R G B A] [R G B A]……

• YUV ：“Y”表示明亮度，“U”和“V”表示的是色度
• 常见格式：YV12、NV12、YUY2、I420等
• 分类： 

占字节数：YUV420、YUV422、YUV444

打包方式：平面（ YV12 ）、半打包（ NV12 ）、打包格式（YUY2）等

• YV12

[Y0 U0 V0] [Y1 U0 V0] [Y2 U1 V1] [Y3 U1 V1] [Y4 U2 V2]…..[Y8 U0 V0]......

• NV12

[Y0 U0 V0] [Y1 U0 V0] [Y2 U1 V1] [Y3 U1 V1] [Y4 U2 V2]…..[Y8 U0 V0]......

• YUY2

[Y0 U0 V0] [Y1 U0 V0] [Y2 U1 V1] [Y3 U1 V1] [Y4 U2 V2]…..

2.编码

2.1音频编码

• 编码格式
• G711、G722、G726、G729、Mpeg1-layer3（mp3）、AAC、OPUS、speex等
• 重要参数
• 采样率
• 声道数
• 量化位
• 码率
• 例子：

以AAC编码为例，AAC编码包括头部分和数据部分，AAC的头有两种ADTS和ADIF，通常我们见到的都是ADTS，ADTS由两部分组成，固定头信息和可变头信息。下图位一帧AAC编码帧数据。

2.2视频编码

• 编码格式
• mpeg-1、mpeg-2、mpeg-4、vp8、vp9、H264、h265、AV1、AVS系列、H.266、MPEG5等
• 重要参数
• 分辨率
• 帧率
• 码率
• 例子：

以H264编码为例，H264编码帧类型包括 SPS、PPS、IDR、P frame、B frame等。下图为一帧H264编码帧（包含了SPS、PPS、IDR）。

3.文件格式

• 文件格式是一种容器，好比杯子，而音视频数据好比水。杯子是用来装水的。
• 常见格式

MP3、MOV、AVI、RMVB、MP4、FLV、TS、FMP4、MKV等。

• 文件格式分两种：一种是带索引的，比如AVI、MP4等；另一种是不带索引的，比如FLV、TS等
• 文件格式一般由三部分组成：文件头+音视频数据+索引，但是有些没有索引比如flv，有些没有文件头和索引比如TS。
• 例子：

以FLV文件为例，音视频是如何封装成FLV的。文件头后续跟着一帧帧的音视频数据。每帧数据以flvtag打包，这里就不具体详解了，有兴趣的可以网上查一下flv tag的结构。

4.总结

这章节我们主要讲了三个内容，原始数据、音视频编码、文件格式，都是一些基本概念。其中原始数据格式要记住，变声马赛克等音视频的处理都是对原始数据处理的，编码过数据需要解码后才能处理。下一章节我们讲讲如何编码以及这些编码参数有什么作用。

作者：北京华宇信息技术有限公司-研究院-多媒体实验室