前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >ffmpeg中的时间戳与时间基

ffmpeg中的时间戳与时间基

作者头像
音视频_李超
发布2020-04-02 18:54:14
2.9K0
发布2020-04-02 18:54:14
举报
文章被收录于专栏:音视频直播技术专家

前言

在开发多媒体播放器或直播系统时,音视频的同步是非常关键且复杂的点。要想把音视频同步搞明白,我们必须要了解一些基本的知识。只有了解了这些基本知识,才能为你打下理解音视频同步的基础。 本文将从下面几个主题介绍这些知识点:

  • I/B/P帧
  • PTS/DTS
  • 时间基
  • ffmpeg的内部时间基
  • 不同时间基的换算

I/B/P帧

对于 I帧,B帧,P帧,我想很多人对它们已经了解的很多了。

  • I帧是关键帧,它采用帧内压缩技术;
  • B帧是前后参考帧,它属由帧间压缩技术。也就是说在压缩成 B帧前,它会参考它前面的非压缩视频帧,和后面的非压缩的视频帧,记录下前后两帧都不存放的“残差值”,这样可以达到更好的压缩率;
  • P帧是向前参考帧,也就是它参考的是前一个关键帧的数据。P帧也属于帧间压缩技术,相对于 B帧来说,P帧的压缩率要比B帧低。

但在实时互动直播系统中,很少使用B帧。主要的原因是压缩和解码B帧时,由于要双向参考,所以它需要缓冲更多的数据,且使用的CPU也会更高。由于实时性的要求,所以一般不使用它。不过对于播放器来说,遇到带有B帧的H264数据是常有的事儿。

对于 H264 编码原理相关的知识请看我的免费视频课《移动端音视频入门》

PTS/DTS

有了上面 I/B/P帧的概念,我们再来理解 PTS/DTS 就非常容易了。PTS(Presentation TimeStamp)是渲染用的时间戳,也就是说,我们的视频帧是按照 PTS 的时间戳来展示的。DTS(Decoding TimeStamp)解码时间戳,是用于视频解码的。

那为什么有了 PTS 还要有 DTS呢?这就与我们上面所讲的 I/B/P帧有关了。如果我们的视频中没有B帧,那显示的帧的顺序与存放的帧的顺序是一样的,此时PTS与DTS 的值就是一样的,也就没有存在两个时间戳的必要了。

但有了B帧之后,就不是这个样子了。我们举个简单的例子:

代码语言:javascript
复制
第一行,实际应展示的顺序:I    B    B    P
第二行,实际在存放的顺序:I    P    B    B
第三行,按实际顺序号展示:1    4    2    3
第四行,按实际顺序号展示:1    2    3    4

对于上面这个例子我们作下说明:

  1. 我们实际应该展示的帧的顺序是 I, B, B, P 帧解码后的视频帧。
  2. 但实际上,这些帧到达之后,在缓冲区里就按照第二行的样子存放的。为什么会这样呢?这是由于我上面所讲的,P帧参考的是 I帧,B帧是双向参考帧。也就是说,如果 I帧和P帧没有解码的话,B帧是无法进行解码的。基于此,为了解决这个问题就出现了 PTS和DTS两个时间戳。
  3. 第三行是视频帧真正的解码顺序,先解 I帧,然后是P帧,然后是第一个B帧,最后是第二个B帧。
  4. 最终的展示顺序是 I帧解码后的视频帧,第一个B帧解码后的视频帧,第二个B帧解码后的视频帧,最后是P帧解码后的视频帖。

时间基

有了时间戳之后,最终进行展示时还要需要将 PTS时间戳转成以秒为单位的时间。那这里需要向大家介绍一下 ffmpeg的时间基。

我们在执行 ffmpeg/ffplay命令时,可以通过控制台看到几个参数,分别是 tbr, tbn, tbc。这几个值是什么含义呢?其实就是不同的时间基。

  • tbr: 是我们通常所说的帧率。time base of rate
  • tbn: 视频流的时间基。 time base of stream
  • tbc: 视频解码的时间基。time base of codec

在ffmpeg中,不同的时间戳对应不同的时间基。对于视频的渲染我们使用的是视频流的时间基,也就是 tbn。那我们如何理解时间基呢?其实非常简单,就是时间刻度。我们以帧率为例,如果每秒钟的帧率是 25帧,那么它的时间基(时间刻度)就是 1/25。也就是说每隔1/25 秒后,显示一帧。

所以如我们当前的时间是 100, 时间基是 1/25,那么转成秒的时间是多少呢? 100*(1/时间基),也就是100 * 1/25 = 4秒。是不是非常的简单?

ffmpeg内部时间基

除了我上面所讲的几个时间基之外,ffmpeg内部还有一个时间基。即我们通过所见到的 AV_TIME_BASE。它在ffmpeg内部定义如下:

代码语言:javascript
复制
#define         AV_TIME_BASE   1000000

它还有一种分数所表式法:

代码语言:javascript
复制
#define         AV_TIME_BASE_Q   (AVRational){1, AV_TIME_BASE}

在 ffmpeg中进行换算,将不同时间基的值转成按秒为单位的值计算如下:

代码语言:javascript
复制
timestamp(秒) = pts * av_q2d(time_base)

这里引入了 av_q2d 这个函数,它的定义非常简单:

代码语言:javascript
复制
typedef struct AVRational{
int num; //numerator
int den; //denominator
} AVRational;

static inline double av_q2d(AVRational a){
/**
* Convert rational to double.
* @param a rational to convert
**/
    return a.num / (double) a.den;
}

从这里我们可以看到,它与我上面所讲的公式是一样的。

不同时间基的换算

在上面我向大家介绍了 ffmpeg有好几种不同的时间基,有时候我们需要在不同的时间基之间做换算。ffmpeg为我们提供了非常方便的函数。即

代码语言:javascript
复制
av_rescale_q()

av_rescale_q(a,b,c)的作用是,把时间戳从一个时基调整到另外一个时基时候用的函数。其中,a 表式要换算的值;b 表式原来的时间基;c表式要转换的时间基。其计算公式为 a * b / c

既然公式这么简单,我们自己写就OK了,为什么ffmpeg还要单独提供一个函数呢?其实这个看似简单的方法,还要考虑数值溢出的问题。所以把这块的逻辑加上之后,就没我们看到的这么简单了。不过没关系,我们只要清楚 av_rescale_q 是做什么的,怎么用就可以了。

下面我再给出两个算计公式:

  • 时间戳转秒 time_in_seconds = av_q2d(AV_TIME_BASE_Q) * timestamp
  • 秒转时间戳 timestamp = AV_TIME_BASE * time_in_seconds

小结

以上我通过几个主题向大家介绍了ffmpeg中的时间戳与时间基,以及音视频同步的基本知识。通过本文大家会了解到,其实ffmpeg中的时间戳与时间基并不复杂。但就是这些不复杂的知识点的交互最终完成了音视频的同步。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 前言
  • I/B/P帧
  • PTS/DTS
  • 时间基
  • ffmpeg内部时间基
  • 不同时间基的换算
  • 小结
相关产品与服务
文件存储
文件存储(Cloud File Storage,CFS)为您提供安全可靠、可扩展的共享文件存储服务。文件存储可与腾讯云服务器、容器服务、批量计算等服务搭配使用,为多个计算节点提供容量和性能可弹性扩展的高性能共享存储。腾讯云文件存储的管理界面简单、易使用,可实现对现有应用的无缝集成;按实际用量付费,为您节约成本,简化 IT 运维工作。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档