专栏首页用户7121617的专栏直播系统搭建:音视频处理的一般流程与推流端的四个环节
原创

直播系统搭建:音视频处理的一般流程与推流端的四个环节

音视频处理的一般流程

数据采集→数据编码→数据传输(流媒体服务器) →解码数据→播放显示

1.数据采集:摄像机及拾音器收集视频及音频数据,此时得到的为原始数据涉及技术或协议:摄像机:CCD、CMOS拾音器:声电转换装置(咪头)、音频放大电路。

2.数据编码:使用相关硬件或软件对音视频原始数据进行编码处理(数字化)及加工(如音视频混合、打包封装等),得到可用的音视频数据涉及技术或协议:编码方式:CBR、VBR编码格式视频:H.265、H.264、MPEG-4等,封装容器有TS、MKV、AVI、MP4等音频:G.711μ、AAC、Opus等,封装有MP3、OGG、AAC等

3.数据传输:将编码完成后的音视频数据进行传输,早期的音视频通过同轴电缆之类的线缆进行传输,IP网络发展后,使用IP网络优传输涉及技术或协议:传输协议:RTP与RTCP、RTSP、RTMP、HTTP、HLS(HTTP Live Streaming)等控制信令:SIP和SDP、SNMP等。

4、解码数据:使用相关硬件或软件对接收到的编码后的音视频数据进行解码,得到可以直接显示的图像/声音涉及技术或协议:一般对应的编码器都会带有相应的解码器,也有一些第三方解码插件等5、播放显示:在显示器(电视、监视屏等)或扬声器(耳机、喇叭等)里,显示相应的图像画面或声音涉及技术或协议:显示器、扬声器、3D眼镜等。

推流端的四个环节

1、 首先是采集环节:采集是指对图像和声音的采集,简单说就是能让网络视频直播系统和主播摄像头连起来,软件能获取到外界的音视频信息。

然后是前处理阶段:这里也是俗称美颜的阶段,这要求我们在网络视频直播系统中加入美颜、特效、萌颜等效果,而这个算法需要涉及到GPU编程,这个阶段的难点不在于美颜,因为美颜通常使用SDK来解决的,重点在于GPU占比。

2、 目前市面上的手机硬件配置已经越来越高了,但在一些老旧机型上,功耗仍然是个很大的问题,GPU占用太高会导致手机发烫、摄像头掉帧甚至软件闪退。

3、 接下来就是编码了,编码是为了压缩数据也是为了更好的解码,通常我们会选择用硬编码来平衡编码速度和编码质量之间的效率比,但软编仍然是画面质量更高的选择,也有用户愿意使用软编码的方式,因此在最初设计系统时,我们应当同时设计好软编硬编两种编码方式。

4、 推流端最后一个操作就是推流,把视频推流到服务器,以便于直播视频的分发和拉流。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 直播系统搭建:拉流端的三个环节及服务器部署重点

    1、 用户想看直播就要去服务器进行拉流,什么是拉流?你打开视频网站,点击视频,你点击视频和视频打开之间的时间段,就是你的客户端去向服务器请求拉流了,这一步要注意...

    山东布谷鸟
  • 一对一直播源码在开发上会遇到什么问题?

    5G网络即将覆盖普及, 一对一直播市场的未来可以说会更具潜力,近些年来一对一直播行业的发展迅猛,更多的人开始通过一对一直播平台社交网络来寻找娱乐,打发茶余饭后的...

    山东布谷鸟
  • 直播源码的开发方式有哪两种?

    直播已经成为了一种行业,吸引力各路创业者,特别是一对一直播的出现,一对一直播源码也可以选择原生开发和混合开发,两种开发方式都能达到开发一对一直播的目的,这时候就...

    山东布谷鸟
  • 零基础入门:实时音视频技术基础知识全面盘点

    随着移动网络速度越来越快、质量越来越来,实时音视频技术已经在各种应用场景下全面开花,语音通话、视频通话、视频会议、远程白板、远程监控等等。

    JackJiang
  • 【Android 直播软件开发:音视频硬解码篇】

    时至今日,短视频App可谓是如日中天,一片兴兴向荣。随着短视频的兴起,音视频开发也越来越受到重视,但是由于音视频开发涉及知识面比较广,入门门槛相对较高,让许许多...

    云豹kj的晨曦
  • 聚焦LiveVideoStackCon2019丨刘杉:“以视频编解码标准的历史看未来”

    腾讯音视频实验室杰出科学家刘杉博士以大会联席主席身份,一席“以视频编解码标准的历史看未来”的演讲揭开了“LiveVideoStackCon2019”盛会的序幕,...

    腾讯音视频实验室
  • 腾讯技术分享:微信小程序音视频与WebRTC互通的技术思路和实践

    本文来自腾讯视频云终端技术总监rexchang(常青)技术分享,内容分别介绍了微信小程序视音视频和WebRTC的技术特征、差异等,并针对两者的技术差异分享和总结...

    JackJiang
  • 采集音频和摄像头视频并实时H264编码及AAC编码

    hbstream
  • 从编码、网络传输、架构设计揭秘腾讯云高质量、高可用的音视频技术实践

    在互联网飞速发展的时代,视频应用无处不在,各行各业对视频技术的需求开始爆发。伴随视频分辨率的提高,音视频玩法的快速更新以及用户对观看体验需求的不断增加,越来越...

    腾讯云视频
  • 从编码、网络传输、架构设计揭秘腾讯云高质量、高可用实时音视频技术实践

    在互联网飞速发展的时代,视频应用无处不在,各行各业对视频技术的需求开始爆发。伴随视频分辨率的提高,音视频玩法的快速更新以及用户对观看体验需求的不断增加,越来越多...

    LiveVideoStack

扫码关注云+社区

领取腾讯云代金券