H264，你不知道的小技巧

学习小技巧之前，我们先来了解一下什么是H264？

先来看一个问题，为什么要编码呢？

对于720P分辨率，深度为8的一幅图片的数据量为：1280*720*8(位)，如果视频帧率为15，那一秒钟的数据量为：

1280*720*8*15/8/1024/1024 = 13.18MB

这对于用户而言，无疑是无法接受的。所以我们需要进行视频压缩，在更低比特率的情况下，依然可以提供清晰的视频。

H264即是这样一种高压缩高质量的视频压缩标准，其核心算法是帧内压缩与帧间压缩。

常见的帧类型有I帧、P帧和B帧：

I帧：帧内压缩，可以通过视频解压算法解压成一张完整的图片，它是一帧画面的完整保留，也被成为关键帧，一般在检测到丢包时，我们会立即向对方强求一个I帧。

P帧：帧间压缩，前向预测编码帧，其表示的是这一帧与前一帧的差别，即预测差值与运动矢量。

B帧：双向预测编码帧，记录的是本帧与前后帧的差别，其压缩率较高，但是解码对性能要求较高，一般不使用。

H264码流是由一个个的NALU组成。其具体的格式，以及其封包方式，例如单一NAL单元模式、组合封包模式和分片模式，我们这里不做具体的介绍，毕竟格式的死的，比较容易理解，网上的资料也比较多，此外借助Wireshark，可以直观的看到其各个字段的含义。举例如下：

其中：

FU-A，表示这是一个分片的单元;Start bit为1表示为起始片；Nal_unit_type为1表示非IDR的片；P slice告诉我们这是一个P帧的片，非常直观。

如果Wireshark Protocol只显示UDP怎么办？

答：右键，选择解码为，选择RTP

此时如果只显示RTP而不是H264呢？

答：依次选择编解-首选项-Protocol-H264，修改PT值即可。

接下来介绍一些小技巧吧！

Wireshark虽然提供各个字段的解析，但是我们无法直观的看到视频内容。接下来分享一个实用的小技巧。

首先下载rtp_h264_extractor.lua脚本https://github.com/volvet/h264extractor ，并放至Wireshark安装目录下；

修改init.lua，在最后增加dofile(DATA_DIR.."rtp_h264_extractor.lua")，同时确保enable_lua为true，或者disable_lua为false；

接下来我们就可以过滤需要分析的H264包，同时保证Protocol显示为H264，这里要注意包一定要过滤干净，保证没有其他通话的包干扰，过滤方法可以使用udp端口过滤例如udp.srcport==1000 && udp.dstport==2000 ，或者依次选择电话-RTP-RTP流，然后选中需要过滤的包，点击准备过滤器即可，见下图：

点击tools下的"Extract h264 stream from RTP"菜单项，在原包路径下会生成dump.h264;

此时VLC等播放软件便可以直接播放码流文件了，在遇到问题帧时，VLC往往会直接退出，那该如何分析呢？

推荐几款不错的分析软件，H264Visa、Elecard StreamEye Tools部分截图如下所示：

以上几款软件均可以对每一帧画面进行详细具体的查看，感兴趣的读者可以下载后对各个窗口以及工具进一步的查看或使用。

除此之外我们有自己的mod_pcap模块并已经集成到我们自己的FreeSWITCH版本中，可以将pcap包中H264数据转为yuv文件，以及提供play_pcap的APP，方便在工作中对H264数据进行的直观的查看，抓包、过滤、拨号，你就能看到包中的视频画面了。