想学习Android音视频，这些你知道吗?

程思扬

修改于 2022-01-14 10:07:41

7100

修改于 2022-01-14 10:07:41

文章被收录于专栏：程思阳的专栏

Android音视频——编码介绍 Android音视频——相关介绍相信不少小伙伴们工作一段时间都想如何进阶？很多一直做的都是应用层的APP开发，实现的基本都是UI效果，动画，机型适配，然后集成第三方的lib进行推送，支付，第三方登录，地图等的功能等等需求，如何学一点更深层次的东西？

不少小伙伴说，不妨去学一下新的语言，学学后端技术，我身边也有不少这样的人，但我认为无论什么平台，他们的学习曲线其实是类似的，都要经历差不多的环节，学习对应平台的编程语言后熟悉对应平台提供的 API，再掌握平台相关的特性、框架和原理，再通过项目去熟悉接下来就是对音视频感兴趣的朋友们，可以看一下我和大家分享的内容

部分内容参考自音视频开发技术的进阶路线音视频开发，想很多开发者都听过甚至接触过这个概念从上图可以看出音视频开发不仅需要掌握图像、音频、视频的基础知识，并且还需要掌握如何对它们进行采集、渲染、处理、传输等一系列的开发和应用，因此，音视频开发是一门涉及到很多内容的领域直白的说，音视频开发，就是要掌握图像、音频、视频的基础知识，然后学会如何对进行采集、渲染、处理、传输等一系列，然后运用到实际的项目开发中

1. 采集

顾名思义，你要知道你的音视频数据从哪里来，怎么获取，其实无论在哪个平台，图像、视频最初都是来自摄像头，而音频最初都是来自麦克风。

比如： Windows：DirectShow Linux：V4L2 Android：Camera iOS：AVCaptureSession b. 系统的摄像头采集的参数怎么配置，都是什么含义？比如：分辨率、帧率、预览方向、对焦、闪光灯等 c. 系统的摄像头输出的图像/视频数据，是什么格式，不同格式有什么区别？比如：图片：JPEG；视频数据：NV21，NV12，I420 等 d. 系统的麦克风采集接口是什么，怎么用？比如： Windows：DirectShow Linux：ALSA & OSS Android：AudioRecord iOS：Audio Unit e. 系统的麦克风采集参数怎么配置，都是什么含义？比如：采样率、通道号、位宽等 f. 系统的麦克风输出的音频数据，是什么格式？比如： PCM

2. 渲染

渲染，它解决的是，数据怎么展现的问题，那么，数据究竟怎么展现呢？其实无论在哪个平台，图像、视频最终都是要绘制到视图上面，而音频最终都是要输出到扬声器，因此，做音视频渲染，就要掌握如下的技术知识： a. 系统提供了哪些 API 可以绘制一张图片或者一帧 YUV 图像数据的？比如： Windows：DirectDraw, Direct3D, GDI，OpenGL 等 Linux： GDI， OpenGL 等 Android：ImageView，SurfaceView，TextureView，OpenGL 等 iOS： CoreGraphics，OpenGL 等 b. 系统提供了哪些 API 可以播放一个 mp3 或者 pcm 数据？比如： Windows：DirectSound 等 Linux：ALSA & OSS 等 Android：AudioTrack 等 iOS： AudioQueue 等

3. 处理

处理，它解决的是，数据怎么加工的问题，那么，数据究竟可以怎么加工呢？首先，我们看看图像/音视频的数据可以做哪些加工？其实无论在哪个平台，图像和音视频的加工，除了系统的 API，大多数都会依赖一些跨平台的第三方库的，通过掌握这些第三方库的原理和使用方法，基本上就可以满足日常音视频处理工作了，这些库包括但不限于： a. 图像处理：OpenGL，OpenCV，libyuv，ffmpeg 等 b. 视频编解码：x264，OpenH264，ffmpeg 等 c. 音频处理：speexdsp，ffmpeg 等 d.音频编解码：libfaac，opus，speex，ffmpeg 等因此，学习和掌握这些第三方库的使用，非常有必要。

4. 传输

传输，它解决的是，数据怎么共享的问题，那么，数据究竟怎么共享呢？共享，最重要的一点，就是协议。我觉得互联网之所以能够如此蓬勃地发展，将整个世界都紧密联系在一起，其实是离不开 W3C 这个委员会的巨大贡献的，因为无论什么数据，要想在不同的国家、不同设备之间互联互通，离不开 “标准”，有了 “标准”，大家就能互相读懂对方。因此，研究音视频传输，其实就是在研究协议，具体有哪些协议呢？ a. 音视频在传输前，怎么打包的，如：FLV，ts，mpeg4 等 b. 直播推流，有哪些常见的协议，如：RTMP，RSTP 等 c. 直播拉流，有哪些常见的协议，如：RTMP，HLS，HDL，RTSP 等 d. 基于 UDP 的协议有哪些？如：RTP/RTCP，QUIC 等

除了以上的四个方面还需要了解编码格式，协议等

编码格式

H.264:低码率，高质量，高容错开源实现：openh264、x264
H.265：能达到H.264两倍之压缩率，可支持4k分辨率，最高到8k。开源实现：libde265、x265、vp9 两者对比：

H.265对H.264在码率节省上有较大的优势，在相同RSNR下分别节省了48.3%和75.8%。 H.264在编码时间上有聚到优势，对比VP9和H.265,H.265是vp9的6倍，vp9是H.264的将近40倍。

协议

1.RTMP

Real Time Messaging Protocol(实时消息传输协议)，基于 TCP，设计用来进行实时数据通信。 RTMP是目前主流的流媒体传输协议，广泛用于直播领域，市面上绝大多数直播产品都采用了这个协议。

2.HLS

http live streaming是由Apple公司定义的基于http的流媒体实时传输协议，可实现流媒体的直播和点播，主要用于ios系统。原理是将整个流分为多个小的文件来下载，每次只下载个。客户端只要不停的按顺序播放从服务器获取到的件，就实现了直播。分段推送的特点，决定了HLS的延迟一般会高于普通的流媒体直播协议。