访问视频资产中的音轨的原始数据以进行实时处理
访问视频资产中的音轨的原始数据以进行实时处理
提问于 2012-02-13 19:12:02
我正在尝试实时截取基于文件的视频资源的音频流，以便在播放视频时对音轨应用一些实时效果，并将其与其他音频源混合。
理想情况下，如果能够获取AVPlayer对象的音轨，将其作为可单独寻址的输入插入到音频图形中，并使用合适的音频单元通过回调对其进行处理，然后将其实时重新注入以传送到音频输出，那就太好了，但是我找不到一种简单的方法来做到这一点，同时保持原始视频资产的完整性。我一直无法找到如何访问AVPlayer的音频缓冲区，以便将其原始数据转发到声音处理回调。
在我看来，唯一合适的方法是将音频和视频轨道分开，将它们作为单独的文件处理，然后使用AVPlayer处理视频轨道(去掉声音)，并让所有音频通过单独的核心音频处理路径并行运行，但我担心这种方法会使A-V同步具有挑战性，此外还会添加繁琐的离线准备任务。有什么想法或替代方法吗？
回答 1
Stack Overflow用户
发布于 2014-07-07 03:28:01
我认为AVAudioPlayer不具备实时能力，也不可能直接将这个高级框架与最低级别的音频单元(和音频图形)连接起来。
我建议在音频图表中实现一个文件播放器节点。该播放器节点将播放视频中的音频。但也许新的AVAudioEngine是一种很好的方法，但这个框架有很多缺陷，目前还没有很好的文档-它的测试版。音频信号的实时处理本身就是一个棘手的问题--与视频结合起来就非常困难。:-)如果您为您的应用程序找到了可行的解决方案，请告诉我。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/9259472
复制相关文章
相似问题
腾讯云开发者
