[完结18章]C++大型流媒体项目-从底层到应用层千万级直播系统实战

一、什么是流媒体

流媒体是一种以流的形式在网络上进行数字媒体(音频、视频)传输的技术。

它将频、音视频之类的连续媒体经压缩编码、数据打包后按照一定的时间间隔要求连续地发送给接收方，接收方在后续数据不断到达的同时对接收到的数据进行重组、解码和播放。

如果你对流媒体感兴趣的话，可以看一下 Live555，一个更流行且更专业的流媒体库。

它支持了各种标准流媒体传输协议，如 RTP/RTCP、RTSP、SIP，实现了对多种音视频编码格式的音视频数据的流化、接收和处理等支持。播放 VLC 和 MPlayer 都是基于它来实现流媒体播放的功能，并且非常适合嵌入式领域。

二、视频编码

是指压缩编码。在计算机的世界中，一切都是0 和1 组成的，音视频的数据量庞大，如果按照裸流数据存储的话，那将需要耗费非常大的存储空间，也不利于传送。而音视频中，其实包含了大量0 和1 的重复数据，因此可以通过一定的算法来压缩这些0和1 的数据。特别在视频中，由于画面是逐渐过渡的，因此整个视频中，包含了大量画面/像素的重复，这正好提供了非常大的压缩空间。因此，编码可以大大减小音视频数据的大小，让音视频更容易存储和传送。

三、simple-rtmp-server[多种类型直播]

一个简单高效的实时视频服务器，使用C++开发，支持RTMP/WebRTC/HLS/HTTP-FLV/SRT/GB28181。

SRS定位是运营级的互联网直播服务器集群，追求更好的概念完整性和最简单实现的代码。

SRS提供了丰富的接入方案将RTMP流接入SRS，包括推送RTMP到SRS、推送RTSP/UDP/FLV到SRS、拉取流到SRS。

SRS还支持将接入的RTMP流进行各种变换，譬如将RTMP流转码、流截图、转发给其他服务器、转封装成HTTP-FLV流、转封装成HLS、转封装成HDS、录制成FLV

四、音视频处理框架

1.OpenCV

OpenCV全称是Open Source Computer Vision Library，是一个跨平台的计算机视觉库，是由英特尔公司发起并参与开发，以BSD许可证授权发行，可以在商业和研究领域中免费使用。可用于开发实时的图像处理、计算机视觉以及模式识别程序。

OpenCV用C++语言编写，有大量的Python, Java and MATLAB(版本2.5)的接口。

2.Gstreamer

GStreamer 是一个基于管道的多媒体框架，基于GObject，以C语言写成。可以很容易地创建各种多媒体功能组件，包括简单的音频回放，音频和视频播放,录音，流媒体和音频编辑。

适用于所有主要操作系统，例如 Linux、Android、Windows、Max OS X、iOS，以及大多数 BSD、商业 Unix、Solaris 和 Symbian。

GStreamers 功能可以通过新插件进行扩展。

3.FFmpeg

一套开源的音视频处理的框架，可以运行音频和视频多种格式的录影、转换、流功能，包含了libavcodec（用于多个项目中音频和视频的解码器库）以及libavformat（音频与视频格式转换库）

五、多媒体处理功能

多媒体视频处理工具FFmpeg有非常强大的功能[1]包括视频采集功能、视频格式转换、视频抓图、给视频加水印等。

视频采集功能

FFmpeg是在Linux下开发出来的，但它可以在包括Windows在内的大多数操作系统中编译。这个项目是由Fabrice Bellard发起的，现在由Michael Niedermayer主持。

ffmpeg视频采集功能非常强大，不仅可以采集视频采集卡或USB摄像头的图像，还可以进行屏幕录制，同时还支持以RTP方式将视频流传送给支持RTSP的流媒体服务器，支持直播应用。

ffmpeg在Linux下的视频采集

在Linux平台上，ffmpeg对V4L2的视频设备提高了很好的支持，如：

./ffmpeg -t 10 -f video4linux2 -s 176*144 -r 8 -i /dev/video0-vcodec h263 -f rtp rtp://192.168.1.105:5060 > /tmp/ffmpeg.sdp

以上命令表示：采集10秒钟视频，对video4linux2视频设备进行采集，采集 QCIF(176*144)的视频，每秒8帧，视频设备为/dev/video0，视频编码为h263，输出格式为RTP，后面定义了IP地址及端口，将 该码流所对应的SDP文件重定向到/tmp/ffmpeg.sdp中，将此SDP文件上传到流媒体服务器就可以实现直播了。

六、视频会议传输模块的开发选择

视频会议主要是开发音视频、数据的传输的软件，在这些开发过程中，最核心的模块是传输模块，传输模块的性能直接影响到视频会议的最终质量，因此传输模块的选择在视频会议开发当中尤其重要。传输模块在开发过程中，由于考虑到QOS的影响，一般都会使用数据重发的技术，因此传输模块以及成为视频会议底层开发的一个重点，我们开发的传输模块，可以选择用TCP、UDP直接进行开发或者利用开源的传输库，因为一些开源传输库以及比较成熟，直接拿来用就可以，如果自己开发传输模块，估计也是一个巨大工程。现在我们介绍一下传输模块的开发选择。

七、商用流媒体软件的选用

如果项目在稳定性、安全性和责任约束上比较苛刻，还是建议选用商用产品。商用流媒体服务器软件的选择范围不大，基本上是国内外几家专业的公司在做，可选产品包括：Wowza、Adobe Flash Media Server和国内NTV Media Server G3等。

Wowza是一个美国Wowza Media Systems公司的产品，也是目前应用最广泛的一款流媒体服务器产品，在国内也有它的代理商。通过发放软件授权证书进行授权，可以按月、按年度购买使用授权，官网上有明确的报价。国内代理商加上自己的包装和技术支持费用，价格不一。

Adobe Flash Media Server是早些年使用最广泛的一款产品，产品成熟，价格相对高昂，随着Adobe公司退出中国市场，技术支持也主要有一些国内代理商负责。和Wowza一样，由于由国内厂商支持，加上语言、技术能力和时差等问题，在技术支持上并不尽人意。