短视频直播系统，什么是DTS和PTS，它们对直播有什么影响

DTS，解码时间戳，这个时间戳的意义在于高速播放器该在什么时候解码这一帧的数据，PTS指的是显示时间戳，这个时间戳用来高速短视频直播系统该在什么时候显示这一帧数据。虽然两者都是用于指导播放端的行为，但它们是在编码的时候由编码器生成的。

一、实际应用

由于短视频直播系统在视频采集的时候是录制一帧就编码一帧发送一帧的，在编码的时候会生成PTS，这里需要注意的是帧的编码方式，在通常的场景中，编解码器编码的一个I帧，然后向前跳过几个帧，用编码I帧做为基准帧对一个未来P帧进行编码然后跳回到I帧之后的下一个帧。

编码的I帧和P帧之间的帧被编码成B帧，之后编码器会再次跳过几个帧，使用第一个P帧做为基准帧编码另外一个P帧，然后再次跳回，用B帧填充显示序列中的空隙。

二、音视频同步

短视频直播系统除了要处理视频外，还需要处理音频，音频的播放也涉及到DTS、PTS等概念，不过音频没有关键帧一说。

想要实现音视频同步，通常短视频直播系统需要选择一个参考时间，参考实现是线性递增的，编码音视频流时可以依据这个时钟上的时间给每帧数据打上时间戳。在播放时，短视频直播系统读取数据帧上的时间戳，同时参考当前参考时间来安排播放，这里说到的时间戳就是PTS。

三、音频的编解码

1、解协议：将流媒体协议的数据，解析为标准的相应的封装格式数据

2、解封装：将输入的封装格式的数据，分离成音频流压缩编码数据和视频流压缩编码数据

3、解码，将视频、音频压缩编码数据，解码成为非压缩的音视频原始数据，音频的标准格式为AAC、MP3等，视频的标准格式为H.264等，通过解码视频数据输出成为非压缩的颜色数据。

声明：以上内容为云豹科技作者本人原创，未经作者本人同意，禁止转载，否则将追究相关法律责任