基于S5pv210流媒体服务器的实现之网络摄像头

这里仅介绍流媒体服务器端的实现思路,及编码注意问题,不会贴代码的具体实现。直接入正题先介绍一下系统硬件框架:

服务器端连接PC机用VLC播放如下图:

服务器端应用程序可以分为图像采集、视频硬件编码压缩、RTP打包发送,三个部分。采用C++语言编程,引入C、C++语言混合共享库的方式实现。

图像采集模块主要负责视频数据的采集,并将采集到的数据暂存到DDR2内存中,作为硬件编码模块的数据源。Linux3.0.8内核下视频采集是基于V4L2(Video for Linux 2)框架实现的.V4L2是Linux内核中关于视频设备的应用程序接口,它为音视频设备的应用程序编程提供了一套接口规范.完善的摄像头驱动包含了摄像头源数据与处理器硬件模块FIMC0的数据共享,暂存到DDR2中的数据源,会经过FIMC0转码成NV12格式,应用程序中可以通过V4L2提供的应用程序接口来控制FIMC0的转码格式。这样应用程序就完成了指定颜色空间的实时视频采集。过程如图下图所示:

完成原始视频数据采集后,需要将视频硬件编码压缩成H.264,这里选用的H.264,主要因为它编码效率高、能以较低的数据速率传送基于IP(网际协议)的视频流,在视频质量、压缩效率和数据包恢复丢失等方面有较大的优势,能很好适应以太网传输,是目前监控系统最为理想的信源压缩编码标准。

编码过程是通过调用S5PV210处理器的硬件编码单元MFC,对转码得到的NV12格式的数据进行编码压缩处理。由于210的MFC支持H.264、H.263、VC1、MPEG2、MPEG4等多种视频编码标准,而且每种编码格式对应多组参数可供开发人员选择,适应多种不同环境多种要求下的视频编码。为了均衡视频质量和成像速度。在权衡考虑网络传输条件和摄像头成像质量后,需要选择适中的MFC编码器品质因数,这样在保证高品质H.264图像压缩的前提下,降低了客户端的显示延迟。

编码压缩过程完成后,下一步就要进行,视频RTP打包工作了。原始的 H.264 视频编码数据,不能直接用于网络传输,容易造成丢包及传输错误,需要对其进行封装。因此在客户端应用程序中加入了RTP打包子功能。视频数据的整个打包封装过程如下图 所示。另外,在实时性要求较高的应用场合,RTP 是使用UDP 进行数据传输。下面就简单介绍一下RTP+UDP包的结构:

RTP 载荷常用的打包方式有三种:单NAL 单元方式,非交错方式以及交错方式。各种方式有其允许的NAL 单元类型,常用的类型有单个NAL 单元包(NAL unit),聚合包(STAP-A,STAP-B,MTAP),分片单元(FU-A,FU-B)等。其中,NAL unit 包中必须包含一个完整的编码后的NAL 单元,聚合包中包含一个或多个NAL 单元,而分片单元Fus 允许将一个NAL单元分片到几个RTP 包中。根据TI 提供的H.264 压缩算法及其压缩后的NAL 单元数据特点,本文采用NAL unit 和FU-A 两种包类型。其对应的RTP 载荷格式主要是头部不同,描述如下。

NAL unit

头部为一个字节,三个标志的含义如下。

F:1 bit,0 表示NAL 单元类型的八位组和载荷不允许包含比特错误或其它语法错误,1 则相反。H.264规范要求该位为0;

NRI:2 bits,与编码后的网络抽象层NAL 单元中的NAL 单元类型字节里NRI 值保持一致。

Type:5 bits,H.264 规范定义其取值范围为1~23。在该类型包设计时取值同上,即与NAL 单元类型字节里nal_unit_type 相同。程序设计时该字节与NAL 单元第一字节设置为相同即可,对于编码后的NAL 单元,第一字节即是NAL 单元类型字节。

FU-A

头部包含两个字节,第一字节为FU indicator,第二字节为FU header。FU indicator,该字节与NAL unit 头部结构相同。标志F 和NRI 设置方法同上,对于Type 标志,规范中该类型值设置为28。

FU header,各标志含义如下。

S:1 bit,开始标志位。对于NAL 单元第一个分片,设置为1,其它为0。

E:1 bit,结束标志位。对于最后一个分片,设置为1,其它为0

R:1 bit,保留位,设置为0,接收者必须忽略该位。

Type:5 bits,NAL 单元荷载类型,与编码后的网络抽象层NAL 单元中的NAL 单元类型字节nal_unit_type 值保持一致。

对于原始压缩数据,不仅要进行RTP 载荷打包,还需要增加RTP 头来组成完整的RTP 包。我是用的是JRTPLIB 库实现RTP 的自动打包以及传输功能。RTP包头所需的一些参数如:Market,帧间延时时间,时间戳由函数SendPacket 参数传入。

写到这里服务器端功能模块基本介绍完了。再说一下程序设计关键点,如下:

(1)由于MFC驱动中的视频源数据的颜色空间必须为NV12,因此在通过V4L2框架初始化/video0 输出视频格式时,注意要将格式设置为NV12,从而才能正确解码。

(2) 通过MFC硬编码后的一帧视频包含若干个NAL 单元,每个NAL 单元都由一个起始码开头,对于S5PV210的MFC硬件编码H.264 压缩算法起始码由00 00 00 01 四个字节组成。

(3) 由于UDP协议会对大于1500 字节的数据包进行自动拆包,从而导致丢包概率会大大增加。因此需要设置RTP 荷载包的最大长度为1400。在封装荷载头,RTP头,UDP头和IP头后长度依然会小于1500字节,降低丢包概率。

(4) 参数M,PT,timestamp 设置。M,对于NAL_unit 包类型即单个NAL单元长度值小于1400字节,值为1。当单个NAL单元长度大于1400时,需要进行分片处理。FU-A 类型除该NAL 单元的最后一个分片设置为1 外,其它为0;载荷类型PT 根据标准设置为96;时间戳在SendPacket 函数中传入的是其增量timestamp_inc,对于NAL unit,由于视频采用的是PAL 制式,故值设为9000/25。对于同一NAL 单元的所有FU-A 分片包,timestamp 值应相同。因此,除第一个包设置值以外,其它为0。

服务器端程序流程图如下:

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180108G0TIMD00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券