实时音视频技术入门提纲

1、成长的烦恼

经常收到一些网友的来信或者留言,反馈如下这样的困惑:

“我是一名应届毕业生,该如何快速地成长起来” “我只懂 C/C++,是学 Android 开发有前途,还是 iOS 开发有前途?” “我是一名 Android/iOS 开发,已经可以独立完成一个完整的 App 开发上线,该如何继续提升?” “我想从事音视频开发,该如何入门? 如何进阶 ?”

很高兴看到大家有这样的问题,因为这也从侧面反映了你是一个积极向上,想不断努力来提升自己的人。 我就先从一个简单的问题聊起,“到底 Android 开发有前途还是 iOS 开发有前途?” 其实这个问题跟 “PHP 是不是世界上最好的语言一样”,只会引发争论,却没有什么实际价值,在我看来,无论是 Windows、Linux、Android 还是 iOS 开发,都没有什么优劣之分。

当你已经走到第 4 步了后,往往就会感觉遇到了瓶颈,产生如文章开头的问题,下一步何去何从 ?

在具体的业务领域,你可以慢慢沉淀下来,用自己的努力和时间换来对领域知识的深入理解和积累,逐渐从一个开发小白走向最懂这个行业的专家。 今天呢,我就主要跟大家分享下,如果你对实时音视频这个领域感兴趣,应该如何入门和提高 ?

2、实时音视频开发包括哪些技术内容

虽然一篇文章无法把音视频开发的知识点都介绍清楚,但是大概的学习路线还是可以梳理一下的,我们先看看下面这张图:

其实说白了,音视频开发,就是要掌握图像、音频、视频的基础知识,并且学会如何对它们进行采集、渲染、处理、传输等一系列的开发和应用。

每一个门类,都可以深挖,衍生出一个又一个充满技术挑战的话题,比如:如何更高效地渲染画面、如何提高音视频的压缩比,如何优化弱网下的音视频数据传输等等。 其实,音视频开发的技术积累,也没有那么难,带着问题去 Google,带着任务去实践,一切都不是问题,我们就从上面说的 4 个方向,逐个探索一下,有哪些知识点,是要我们去了解和掌握的。

我们分别具体来看看采集、渲染、处理、传输等技术点。

3、具体技术点之采集

采集,它解决的是,数据从哪里来的问题,那么,数据究竟从哪里来的呢 ?

其实无论在哪个平台,图像、视频最初都是来自摄像头,而音频最初都是来自麦克风,因此,做音视频采集,就要掌握如下的技术知识。 1)系统的摄像头采集接口是什么,怎么用 ?

比如: Windows:DirectShow Linux:V4L2 Android:Camera iOS:AVCaptureSession

2)系统的摄像头采集的参数怎么配置,都是什么含义 ?

比如:分辨率、帧率、预览方向、对焦、闪光灯 等。

3)系统的摄像头输出的图像/视频数据,是什么格式,不同格式有什么区别 ?

比如:图片:JPEG,视频数据:NV21,NV12,I420 等

4)系统的麦克风采集接口是什么,怎么用 ?

比如: Windows:DirectShow Linux:ALSA & OSS Android:AudioRecord iOS:Audio Unit

5)系统的麦克风采集参数怎么配置,都是什么含义 ?

比如:采样率,通道号,位宽 等

6)系统的麦克风输出的音频数据,是什么格式?

比如:PCM

4、具体技术点之渲染

渲染,它解决的是,数据怎么展现的问题,那么,数据究竟怎么展现呢 ?

其实无论在哪个平台,图像、视频最终都是要绘制到视图上面,而音频最终都是要输出到扬声器,因此,做音视频渲染,就要掌握如下的技术知识。

5、具体技术点之处理

处理,它解决的是,数据怎么加工的问题,那么,数据究竟可以怎么加工呢 ? 首先,我们看看图像/音视频的数据可以做哪些加工 ?

其实无论在哪个平台,图像和音视频的加工,除了系统的 API,大多数都会依赖一些跨平台的第三方库的,通过掌握这些第三方库的原理和使用方法,基本上就可以满足日常音视频处理工作了。 这些库包括但不限于:

  • 1)图像处理:OpenGL,OpenCV,libyuv,ffmpeg 等;
  • 2)视频编解码:x264,OpenH264,ffmpeg 等;
  • 3)音频处理:speexdsp,ffmpeg 等;
  • 4)音频编解码:libfaac,opus,speex,ffmpeg 等。

因此,学习和掌握这些第三方库的使用,非常有必要。

6、具体技术点之传输

传输,它解决的是,数据怎么共享的问题,那么,数据究竟怎么共享呢 ? 共享,最重要的一点,就是协议。 我觉得互联网之所以能够如此蓬勃地发展,将整个世界都紧密联系在一起,其实是离不开 W3C 这个委员会的巨大贡献的,因为无论什么数据,要想在不同的国家、不同设备之间互联互通,离不开 “标准”,有了 “标准”,大家就能互相读懂对方。 因此,研究音视频传输,其实就是在研究协议,具体有哪些协议呢 ?

  • 1)音视频在传输前,怎么打包的,如:FLV,ts,mpeg4 等;
  • 2)直播推流,有哪些常见的协议,如:RTMP,RSTP 等;
  • 3)直播拉流,有哪些常见的协议,如:RTMP,HLS,HDL,RTSP 等;
  • 4)基于 UDP 的协议有哪些?如:RTP/RTCP,QUIC 等。

互联网环境下的音视频的传输,是一个非常有挑战和价值的方向,为了解决弱网下的传输延时、卡顿,提高用户体验,整个业界都在不断地进行着深入的探索和优化。

7、本文小结

限于篇幅原因,我的经验分享就到这里了,实时音视频开发的路很长,更多的还是要靠自己去学习和实践,带着追求极致的精神去探索和优化,最终,我相信大家都能快速成长,成为真正的行业专家!

原文发布于微信公众号 - IT技术精选文摘(ITHK01)

原文发表时间:2018-05-31

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏liulun

CMMI-4中19个PA的大致描述

组织过程资产库下面有组织级标准过程库, 这个库里一共有19各PA(就是标准过程啦) PA的英文是Process Area CM(配置管理过程,英文是Config...

1995
来自专栏AI科技评论

业界 | 在美国成年人群体中,语音助手Siri已经成了第二大移动搜索引擎

市场研究公司Fivesight最近的一份研究报告显示,今年一季度,在美国的移动搜索市场上,Google依然毋庸置疑地占据着霸主地位,但是一个有趣的现象是,在遇到...

2654
来自专栏程序员互动联盟

做软件测试,如何月薪过万?

很多人提到软件测试都觉得测试,就是看看软件能不能正常的运行,而且一般测试都是一些小姑娘,一般都是嘻嘻哈哈在聊天中就完成一些软件功能的测试,还有多大的技术含量,这...

39711
来自专栏ATYUN订阅号

【业界】当前的深度学习框架不会改变机器学习的能力增长

框架只是在应用程序中广泛采用机器学习的中间步骤。我们需要的是更多的视觉产品,而这些可能还需要几年的时间。 ? 当前的机器学习(ML)框架是ML的产品化过程中需要...

2764
来自专栏java一日一条

如何成为一名成功的程序员

编程是一个仅靠兴趣仍不足以抵达成功彼岸的领域。你必须充满激情,并且持之以恒地不断汲取更多有关编程的知识。只是对编程感兴趣还不足以功成名就——众所周知,我们工作起...

842
来自专栏企鹅号快讯

如何成为一名成功的程序员

编程是一个仅靠兴趣仍不足以抵达成功彼岸的领域。你必须充满激情,并且持之以恒地不断汲取更多有关编程的知识。只是对编程感兴趣还不足以功成名就——众所周知,我们工作起...

3635
来自专栏陈树义

10、互联网产品的交互设计

理解互联网产品交互设计的: – 交互设计之父 – 交互设计的定义 – 理清几个容易混淆的概念 1、交互设计之父——比尔.莫格里奇 • 比尔·莫格里奇、比尔·莫格...

3666
来自专栏java一日一条

如何成为一名成功的程序员

编程是一个仅靠兴趣仍不足以抵达成功彼岸的领域。你必须充满激情,并且持之以恒地不断汲取更多有关编程的知识。只是对编程感兴趣还不足以功成名就——众所周知,我们工作起...

633
来自专栏杨建荣的学习笔记

对待运维平台,要有「疯狗」一样的执行效率

从去年发起里程碑来做自动化平台的事情到现在,已经几个月过去了。在这段时间里,其实我的心态是很焦灼的。 其实从很多维度来说,做运维平台的事情,从不明朗的需求和定位...

3485
来自专栏好好学java的技术栈

如何在面试中介绍自己的项目经验

在面试时,经过寒暄后,一般面试官会让介绍项目经验 。常见的问法是,说下你最近的(或最拿得出手的)一个项目。

942

扫码关注云+社区