同一部片子里换一条音轨、换一条字幕轨,界面上是两个相似的动作,引擎里是两件不同的事。音轨是有解码链的:线程、队列、渲染一样不少,换轨就是把它关掉重开,还要补上时间轴;字幕轨没有链,包走旁路直接进视图,换轨只是换个路由。这篇把两条路各走一遍。
换音轨和换字幕轨在界面上是两个相似的动作,引擎里却是两件事:音轨有解码链,换轨要关链重挂、补配置、再重定位一次;字幕轨是旁路,换轨只换路由。这篇讲两条路各自为什么这么设计,以及未选中轨的包为什么在分发口就被丢掉。
音轨切换是一条命令,进命令队列按序执行。命令线程做的事按顺序是三步。
第一步关掉现在的链。所有音轨对象统一 close:解码线程、渲染线程停,包队列、帧队列清空——选中的那条也一并关,反正马上要重挂。配置包这一样东西单独留下:它只在扫流的时候发一次,清队之后回切这条轨,解码器没有配置就起不来,所以按轨缓存一份。
第二步挂新轨。把轨描述交给轨对象,不支持的编码在这里就拦下,轨保持无效、不启动;然后补投缓存的配置包,先起解码线程,渲染线程等解码输出就绪再起。切轨可能发生在暂停态或者倍速态,新轨要把这两个状态补齐:该暂停的暂停渲染,倍速照现在的设。
第三步在能 seek 的源上,重定位到当前渲染位置。这一步是被迫的,原因在包的分发上。
挂载与关闭的两头都会给上层发一条轨事件(开、关),界面刷新与埋点认的就是它;切轨对上层来说是一次普通的状态变化,不需要它自己记状态。查询当前选中轨也有现成接口,外接的音频链跟着选中轨走——取渲染口时拿到的是当前轨的,轨关了拿到的就是空。
解封装出来的每条音轨的包都经过同一个分发口。门控规则是:配置包按轨缓存,但只投给选中的轨;数据包不是选中轨的,直接不上轨——不解码、不出声,也不占包队列堵 IO。
轨本身是懒挂载的:播放器起来时每条音轨的对象都在,但只有被选中的那条真正挂了解码链;轨描述里带来的是编码、声道数这些属性,上层拿来列表给用户挑,不支持的编码在挂载那一刻就拦下,轨保持无效、不启动。

这条门控修的是多音轨同播的问题:每条音轨都有链,不拦的话几条轨同时解、同时出声。拦了之后有个副作用:播放中途切轨,新轨在此之前一直被拦着,能收到的包只能从解封装当前读位起算,而这个读位领先播放位置大约一个缓冲的深度。新轨的头一批包对不上正在播的画面,音频往前跳几秒,音画错位,音频时钟还会把主时钟拽跳。
所以在能 seek 的源上,切完轨重定位到渲染位置,让新轨从画面所在的位置重新起收;倍速切换跨四倍那一篇用的也是同一个办法。关音频(选负值)不用这步,链都关了,没有对不对得上一说。
字幕不走包队列和帧队列,它是旁路:选中的轨直接推给字幕视图。所以换字幕轨不关任何链,动的只有路由。
先说选轨之前的事。上层能选轨,前提是知道有哪些轨:解封装扫流时会产出轨的描述——编码、语言、这类属性,查询接口挂在源信息上,选哪个由上层定。
字幕的包到分发口,按三道门走。剧本头按轨留存一份,选中轨早于解封装发起时,回头补喂给视图。数据包看选择状态:还没选轨,先排队——有界队列,满了丢最旧,选完轨回放;选的是外挂字幕,内封包一律丢弃;已经选了轨,只留选中的那条。选轨命令同时把 IO 侧的路由开关拨过去,位图字幕的解码与旁路跟着换道。
留存的另一头也要接上:选轨命令在播放器线程,扫流在 IO 线程,两者谁先谁后没有保证。选轨先到、剧本头后到,剧本头到的那一刻发现选中轨还没喂过,当场补喂;反过来,剧本头先到就先存着,选轨到了再喂。两头都写,才不赌次序。

视图这一侧,激活新轨时把被顶掉的槽拆掉;剧本头到了就装载,纯文本轨走文本装载那条路,转成对白行再排;之前排队的包这时回放。挂视图要挂到视频轨上——渲染接线和开轨通道都在那头,没有视频轨,字幕也就没有意义。关字幕轨只关内封这一个槽,外挂和语音识别的槽不受影响。
字幕来源有三路:内封轨、外挂文件、语音识别的产物。三路都往视图里塞,任一时刻只显示一路,后激活的胜出,空窗不回落——外挂撤掉之后,画面不会自动退回内封轨。
内封轨切换用上面那条路由路;外挂文件的加载与卸载是单独两条命令,它们是控制命令里仅有的两个带回执的:内部用一个原子状态落定结果,调用方轮询等待,上限三秒,超时按失败算。加载外挂会把内封轨顶成非胜者,内封包在分发口就被丢弃,再切回内封轨时,前面那条回放排队的路正好接住选轨前的空档。
换片时这些状态都要跟着清:排队的字幕包、按轨留存的剧本头,连同音轨那边的配置缓存,都是一次播放的财产,下一次播放从头来。
引擎 avox 在 GitHub 开源,仓库 xxxzhou/avox。
系列《从零做一个全平台播放器》按施工顺序发,本篇是 6.6;已发各篇收在这里:https://cloud.tencent.com/developer/column/109457
上一篇:6.5 文本重排要 CPU,轨道缩放归 GPU,两边不叠 https://cloud.tencent.com/developer/article/2786692
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。