首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >画面跳过去了,时间轴还没跟上

画面跳过去了,时间轴还没跟上

原创
作者头像
用户1290566
发布于 2026-11-15 19:36:54
发布于 2026-11-15 19:36:54
100
举报

本地文件拖进度条,是把读的位置挪一下;RTSP 点播不行,播放器手里没有索引,只能发一条带目标时间的命令,画面跳到哪里由服务器决定。麻烦在后面:画面跳对了,包上的时间戳却经常和画面对不上——它可能接着 seek 之前的位置继续涨,也可能跳了,但跳的量不等于真跳过的时长。时间在这里不是天然可信的输入。这篇讲脱钩怎么发生、怎么在包入口把它修回来。

RTSP 点播的 seek 只有一条带目标时间的播放命令,画面由服务器定位,精度停在该服务器最近的关键帧上;麻烦在包上的时间戳,可能接着 seek 前的位置继续涨,也可能跳了但跳的量不对。这篇讲这条脱钩怎么发生、为什么唯一靠得住的数是播放器自己发出的目标时间,以及怎么在包入口用第一个包当锚,把整段包时间平移回目标位。

本地文件和点播流,seek 不是同一件事

本地文件播放,播放器手里有完整索引,知道每一帧在文件里的位置,拖动就是挪读指针;帧上的时间戳写在文件里,跳不跳都连续。

RTSP 点播没有索引,只有一条连到服务器的会话。能做的只有发一条带目标时间的播放命令——命令里写的是正常播放时间,也就是这条流自己的时间轴位置;录像回放那一族都是这么走的。服务器收到后把画面定位到目标附近最近的一个关键帧,从那里开始发流。这一步决定了 seek 的精度上限,也埋下了后面的麻烦:服务器保证的是「画面到位」,不保证「时间标签跟着到位」。

为什么顺延是最常见的?时间戳是服务器那边一路打上来的,seek 只挪了读取的位置,没动打戳的那套逻辑,于是包还接着从前的数往上走。也有的服务器 seek 时会重打,但重打的起点未必是真实跳过的时长——所以顺延和乱跳都见得到,事先猜不到哪一种。

本地 seek 挪读指针,点播 seek 靠服务器定位
本地 seek 挪读指针,点播 seek 靠服务器定位

包时间戳为什么不能信

服务器把画面对到了目标位置,时间戳生成器却不一定重置。发回来的包有两种表现,事先猜不到:一种是顺延,时间戳接着 seek 之前的位置往上加——有一次 seek 到十五秒,回来的包时间还在六秒附近一个一个涨;另一种是跳变,时间跳了,但跳的量不等于真正跳过的时长,视频和音频还可能各跳各的。

结果是画面和时间标签脱了钩:画面已经在二十秒,包里写的是十二秒。标签本身没坏,它标错了对象。

这些包往下走会污染一整条链:包的时间变成解码帧的时间,再变成渲染帧的时间,进时钟,时钟供出当前播放位置,而播放位置正是下一次 seek 的起点。前面写错一个数,后面每一环跟着错;错得越多,下一次 seek 就越偏。

这条链上唯一靠得住的数,是播放器自己发出去的那个目标时间。它对应用户真正想看的位置,跟服务器怎么标时间无关。修法就围绕它。

修在包入口,第一个包当锚

脏数据从包入口进来,就在包入口改掉,后面的解码、渲染、时钟都不用知道发生过什么。改的位置也挑过:候选的另一个位置是取出之后改,但那意味着用的人各自改一遍、时序散在各处;修在入口,这条腿进来的是修好的时间,下游一行不动。改的位置最终落在这条点播腿自己的 IO 实现里:本地文件走另一条腿,直播又不会 seek,所以通用逻辑一行不动。

第一个包当锚,把整段包时间平移到目标位
第一个包当锚,把整段包时间平移到目标位

做法三步。seek 时记下目标时间;seek 之后第一个包到达,拿目标时间减去这个包自带的时间,得到一个偏移量;之后每个包都加上这个偏移量。第一个包不管服务器标的是十二秒还是二十五秒,都被拉到二十秒,后面的包跟着平移,包与包之间的间隔保持原样。锚定也不分顺延还是跳变——两种行为事先猜不到,统一按第一个包锚,顺延的流锚一次就正,跳变的流同样锚得住。

平移用的增量取同一段流里相邻包的时间差。这个差由编码器打出来,可靠;不用墙钟去估,墙钟在网络抖动下会飘。

视频和音频各记各的锚,但锚到同一个目标时间。不各记一套目标,两边的差才会越拉越大;各记各的偏移,是因为两边第一个包到达的时刻不同、服务器给两路的错法也可能不一样,一套偏移伺候不了两路。锚到同一目标之后,两边的差不会越拉越大,源侧那条音视频对齐检查也过得去。

不累积:每次 seek 都重新算一遍偏移,只在两次 seek 之间生效。某一次偏了一点,下一次从头算,偏差不往下传。seek 的目标时间取自当前播放位置,那是渲染端的时间,不碰 IO 包里那些失真的数。

误差与边界

精度受服务器定位粒度限制,在一个关键帧间隔上下浮动。服务器每次只能找「最近的」关键帧,目标可能更靠近前一个,也可能更靠近后一个,这个误差每次独立、不累积。seek 后紧接着到的包如果混进上一条流的残留,锚点会偏一点,所以发起 seek 时会先清掉播放器里已缓存的包,加上每次重锚,这点残留通常没有影响。

还有一个前提要说破:包时间一旦失真,就没法从包本身判断服务器到底把画面对到了哪一帧,误差也就修不到比关键帧间隔更细。这是信息本身缺了,不是算法还能再拧一拧。

删掉的那条路

这条路上我试过一个方向:碰到时间戳大跳变,就让跳变直接透传出去,指望下游自己适应。后来走不通——它救不了那些本来就不跳、只是乱跳的流;而且打开之后,正常的老流反而累积出偏差,因为锚点在第一个包之后才定,偏移量过大。最后从服务端子模块、播放器封装到命令行入口,整条都删了,新旧流统一走同一条路:顺延也好、跳变也好,都用第一个包锚定。

引擎 avox 在 GitHub 开源,仓库 xxxzhou/avox。

系列《从零做一个全平台播放器》按施工顺序发,本篇是 6.3;已发各篇收在这里:https://cloud.tencent.com/developer/column/109457

上一篇:6.2 四倍以内声音在,四倍以上只留关键帧 https://cloud.tencent.com/developer/article/2782794

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 本地文件和点播流,seek 不是同一件事
  • 包时间戳为什么不能信
  • 修在包入口,第一个包当锚
  • 误差与边界
  • 删掉的那条路
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档