实时音视频云端混流转码

  • 回答 (1)
  • 关注 (0)
  • 查看 (44)

晴空晴空提问于
chen313android水货程序猿回答于

适用场景:

CDN 直播观看 云端录制回放 等应用场景中,常需要将 TRTC 房间里的多路音视频流混合成一路,您可以使用腾讯云服务端的 MCU 的混流转码集群完成该项工作。MCU 集群能将多路音视频流进行按需混合,并将最终生成的视频流分发给直播 CDN 和云端录制系统。

云端混流有两种控制方式:

方案一:使用服务端 REST API StartMCUMixTranscodeStopMCUMixTranscode进行控制,该 REST API 还可以同时支持启动 CDN 观看和云端录制。

方案二:使用客户端 TRTC SDK 的 setMixTranscodingConfig 接口进行控制,其原理如下图:

image.png

注意:方案二仅支持 iOS、Android、Windows、Mac 和 Electron 这五个平台的 SDK,如果您希望在微信小程序和桌面浏览器上也实现混流功能,请使用方案一。

云端混流包含解码、混合和再编码三个过程:

  • 解码:MCU 需要将多路音视频流进行解码,包括视频解码和音频解码。
  • 混合:MCU 需要将多路画面混合在一起,并根据来自 SDK 的混流指令实现具体 的排版方案。同时,MCU 也需要将解码后的多路音频信号进行混音处理。
  • 编码:MCU 需要将混合后的画面和声音进行二次编码,并封装成一路音视频流,交给下游系统(例如直播和录制)。

详细步骤请参考云端混流转码文档

所属标签

可能回答问题的人

  • 腾讯云音视频

    腾讯 · 行业应用产品经理 (已认证)

    185 粉丝0 提问1 回答
  • 视频云小姐姐

    3 粉丝0 提问0 回答
  • 腾讯云通信团队

    腾讯 · 腾讯云通信团队 (已认证)

    66 粉丝0 提问24 回答
  • jansonjiang

    腾讯 · 技术咨询工程师 (已认证)

    15 粉丝0 提问2 回答
  • 龙泉

    2 粉丝1 提问3 回答
  • wilentzhang

    腾讯 · 高级产品经理 (已认证)

    5 粉丝0 提问1 回答

扫码关注云+社区

领取腾讯云代金券