本文来自SMPTE 2019的演讲,演讲者是来自DPP的Rowan de Pomerai和来自Marquise Technologies的Dan Tatut。这次演讲的主要内容是关于如何在IMF视频中制作添加辅助视频轨道,比如视频中为聋哑人服务的手语辅助内容。
首先,Rowan以英国为例子说明了手语辅助视频的广泛性和辅助性。传统的手语辅助视频制作过程是将整个完成的视频内容交给第三方,第三方制作完成手语辅助内容后,在将两个视频内容合起来,一般情况下,辅助内容会在视频的下方角落位置。
但是这种流程存在一些挑战,第一,辅助视频的位置是固定的,不利于在不同客户端之间进行动态地调整;第二,在新的端到端的视频格式下,操作和改变原视频和辅助视频轨道是一件很麻烦的事情。IMF可以更加灵活有效地存储视频,给视频的生产分发带来了很多优点,但是由于IMF只支持单轨视频,不能进行视频的合成,所以如果辅助视频轨道可以成为IMF的一个元素,那么公司就可以享有IMF带来的各种优点便利。
为了解决这一问题,DPP开发了一个插入,使得辅助视频可以保存成为一个单独的媒体单元,方便合成到主视频当中。这个插入有两个模式,基本模式和高级模式。基本模式输入主视频和一个辅助视频,输出合成后的视频;高级模式可以允许多个视频流的存在。接着Dan介绍了该插入的具体实现细节,并通过几个实例展示了这个插入的作用,即可以合理地根据客户端情况改变辅助内容的位置和大小,最后Rowan对整个架构进行了补充和总结。