音视频技术基础（三）--音视频数据格式

后面会讲关于音视频处理及渲染的内容，渲染和处理都是对音视频raw数据的操作，所以我们先来学习一下音视频的数据格式。

YUV图像编码

YUV是一种彩色编码系统，主要用在视频、图形处理流水线中(pipeline)。相对于 RGB 颜色空间，设计 YUV 的目的就是为了编码、传输的方便，减少带宽占用和信息出错。

Y’UV、YUV、YCbCr、YPbPr 几个概念其实是一回事儿。由于历史关系，Y’UV、YUV 主要是用在彩色电视中，用于模拟信号表示。YCbCr 是用在数字视频、图像的压缩和传输，如 MPEG、JPEG。今天大家所讲的 YUV 其实就是指 YCbCr。Y 表示亮度（luma），CbCr 表示色度（chroma）。

主流的采样方式有三种，YUV444，YUV422，YUV420，后面三个数字代表什么意思？大家可以读读这为大佬的文章如何理解 YUV ？

YUV420有两种保存方式：planar（平面格式）方式和packed（压缩格式）。

• Planar方式先连续存储所有像素点的Y，紧接着存储所有像素点的U，随后是所有像素点的V。
• Packed方式每个像素点的Y、U、V是连续交叉存储。

我们常用的是planar方式。Y、U、V三个分量各使用一个平面plane的称为YUV420P；Y分量占一个plane，U、V分量交叉共用一个plane的称为YUV420SP，即半平面semi-plane。

常用的I430、NV12、NV21结构如下。

PCM音频编码

PCM中文名称叫脉冲编码调制，其主要工作原理就是把一个时间连续，取值连续的模拟信号变换成时间离散，取值离散的数字信号后在信道中传输。脉冲编码调制就是对模拟信号先抽样，再对样值幅度量化，编码的过程。

其中PCM8和PCM16后面的数字代表的是采样位数。

• 8位采样数据小，方便传输，多用于电话通信之类的；
• 16位采样数据比较大，但是精度比8位高很多，多用于媒体。

PCM16通常会用小端字节序存储，值类型为signed short，范围在-32768~32767。

PCM记录的是每个采样点的声音幅值，采样率越高，记录的音频波形就越精准，常见的采样率有44.1kHz，48kHz。

PCM16的单声道与双声道保存方式不同，双声道时左右声道是交替保存。

音频编码文章推荐PCM音频编码

总结

音视频编码这块内容还是比较多，要梳理起来，一篇文章是不可能讲完的，我这里只是写了一些我了解到了的知识点，如果大家对这方面感兴趣，可以去我在文中提到的文章里面多看看。