前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >音视频技术基础(三)--音视频数据格式

音视频技术基础(三)--音视频数据格式

原创
作者头像
黑眼圈云豆
修改2020-07-09 14:25:31
1.4K0
修改2020-07-09 14:25:31
举报
文章被收录于专栏:跟铭哥学音视频技术

后面会讲关于音视频处理及渲染的内容,渲染和处理都是对音视频raw数据的操作,所以我们先来学习一下音视频的数据格式。

YUV图像编码

YUV是一种彩色编码系统,主要用在视频、图形处理流水线中(pipeline)。相对于 RGB 颜色空间,设计 YUV 的目的就是为了编码、传输的方便,减少带宽占用和信息出错。

Y’UV、YUV、YCbCr、YPbPr 几个概念其实是一回事儿。由于历史关系,Y’UV、YUV 主要是用在彩色电视中,用于模拟信号表示。YCbCr 是用在数字视频、图像的压缩和传输,如 MPEG、JPEG。今天大家所讲的 YUV 其实就是指 YCbCr。Y 表示亮度(luma),CbCr 表示色度(chroma)。

主流的采样方式有三种,YUV444,YUV422,YUV420,后面三个数字代表什么意思?大家可以读读这为大佬的文章如何理解 YUV ?

YUV420有两种保存方式:planar(平面格式)方式和packed(压缩格式)

  • Planar方式先连续存储所有像素点的Y,紧接着存储所有像素点的U,随后是所有像素点的V。
  • Packed方式每个像素点的Y、U、V是连续交叉存储。

我们常用的是planar方式。Y、U、V三个分量各使用一个平面plane的称为YUV420P;Y分量占一个plane,U、V分量交叉共用一个plane的称为YUV420SP,即半平面semi-plane。

常用的I430、NV12、NV21结构如下。

PCM音频编码

PCM中文名称叫脉冲编码调制,其主要工作原理就是把一个时间连续,取值连续的模拟信号变换成时间离散,取值离散的数字信号后在信道中传输。脉冲编码调制就是对模拟信号先抽样,再对样值幅度量化,编码的过程。

其中PCM8和PCM16后面的数字代表的是采样位数。

  • 8位采样数据小,方便传输,多用于电话通信之类的;
  • 16位采样数据比较大,但是精度比8位高很多,多用于媒体。

PCM16通常会用小端字节序存储,值类型为signed short,范围在-32768~32767。

PCM记录的是每个采样点的声音幅值,采样率越高,记录的音频波形就越精准,常见的采样率有44.1kHz,48kHz。

PCM16的单声道与双声道保存方式不同,双声道时左右声道是交替保存。

音频编码文章推荐PCM音频编码

总结

音视频编码这块内容还是比较多,要梳理起来,一篇文章是不可能讲完的,我这里只是写了一些我了解到了的知识点,如果大家对这方面感兴趣,可以去我在文中提到的文章里面多看看。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • YUV图像编码
  • PCM音频编码
  • 总结
相关产品与服务
媒体处理
媒体处理(Media Processing Service,MPS)是智能、强大、全面的多媒体数据处理服务,行业支持最全面的音视频编码标准,基于自研编码内核和AI算法,提供音视频转码和增强、媒体智能、质检评测等能力,帮助您提升媒体质量、降低成本,满足各类场景的音视频处理需求。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档