随着移动设备大规模的普及以及流量的资费越来越便宜, 超低延迟的场景越来越多. 从去年到今年火过的场景就有在线娃娃机, 直播答题, 在线K歌等. 但要做到音视频的超低延迟确是很不容易, 编码延迟, 网络丢包, 网络抖动, 多节点relay,视频分段传输,播放端缓存等等都会带来延迟.
简介： 随着音视频领域的火热，在很多领域（教育，游戏，娱乐，体育，跑步，餐饮，音乐等）尝试做音视频直播/点播功能，那么作为开发一个小白，如何快速学习音视频基础知识，了解音视频编解码的传输协议，编解码方式，以及如何技术选型，如何解决遇到的坑，本文抛砖引玉，欢迎大咖交流。
本文为作者原创，转载请注明出处：https://www.cnblogs.com/leisure_chn/p/10623968.html
我们在开发网络程序时经常用到UDP或RTP来发送和接收流媒体，而开发程序完毕需要搭建一个环境测试，这时候可能你需要一个推流端或接收端。对于推流端，我们可以借助FFmpeg工具轻松完成该功能，只需要敲一条命令后就可以实现发流，并且支持多种网络协议（UDP/RTP/RTSP/RTMP）。而接收端我们可以使用ffplay，这个程序也是在FFmpeg工具包的Bin目录里面。大家可以根据自己需要使用这两个工具进行推流或接收，下面就以传输协议UDP、RTP为基础，介绍几种最常见的推流场景下两个工具的用法。
前面 FFmpeg 系列的文章中，已经实现了音视频的播放、录制已经添加滤镜等功能，本文将用 FFmpeg 实现流媒体的边播放边录制功能。
这两天研究了FFmpeg获取DirectShow设备数据的方法，在此简单记录一下以作备忘。本文所述的方法主要是对应Windows平台的。
=====================================================
首先我们先使用 ffmepg 对一段视频文件进行切片，视频所在路径：D:\Work\test
关于流媒体的基础概念，观止云的 “流媒体｜从入门到出家” 系列文章极具参考价值，请参考本文第 5 节参考资料部分。
今天我打算跟大家聊一点硬技巧，比如怎么使用ffmpeg监测.m3u8直播视频流的状态。现在就来举个例子，已知一个http://xxxxxx.m3u8的直播视频流，需要通过使用ffmpeg监测该直播视频流现在的状态，我们该如何实现呢？
MediaMTX是个开源的轻量级流媒体服务器，它的安装过程参见《FFmpeg开发实战：从零基础到短视频上线》一书的“10.2.2 FFmpeg向网络推流”。MediaMTX下载后的压缩包包括可执行程序mediamtx.exe和配置文件mediamtx.yml，看起来非常简约，但它提供的流媒体服务一点也没缩水。双击mediamtx.exe，MediaMTX弹出一个命令行窗口，窗口内部的日志信息如下：
采用ffmpeg解码，是所有视频监控开发人员必备的技能，绕不过去的一个玩意，甚至可以说是所有音视频开发人员的必备技能。FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。它包括了目前领先的音/视频编码库libavcodec。 FFmpeg是在 Linux 下开发出来的，但它可以在包括 Windows 在内的大多数操作系统中编译。这个项目是由 Fabrice Bellard 发起的，现在由 Michael Niedermayer 主持。可以轻易地实现多种视频格式之间的相互转换，例如可以将摄录下的视频avi等转成现在视频网站所采用的flv格式。
这里使用VLC播放器,下载VLC 开始播放,点击[媒体]->[流]->[网络] 输入刚刚推流的地址。然后选在下方的播放。
目前受大众广泛使用的视频流拉转推工具应该是FFMPEG，TSINGEE青犀视频也有自己的拉转推平台，分别为EasyRTMPLive和EasyRTSPLive，两者都可以拉RTSP流转RTMP流。
内嵌 flash 的方式必须要有浏览器支持。这样的方式已经被各大浏览器放弃，在谷歌浏览器中已经不再支持flash。本文不再说明。
Android音视频——编码介绍 Android音视频——相关介绍 相信不少小伙伴们工作一段时间都想如何进阶？很多一直做的都是应用层的APP开发，实现的基本都是UI效果，动画，机型适配，然后集成第三方的lib进行推送，支付，第三方登录，地图等的功能等等需求，如何学一点更深层次的东西？
最近项目中需要实时播放摄像头rtsp视频流，于是就专门做了些研究。而浏览器不能直接播放，只有通过插件或者转码来实现这个需求。
本文介绍 FFmpeg 骨架：“八大金刚” 核心开发库，重要数据结构与 API
好久以前就写过这个工具，后来因为Qt版本的不断升级以及ffmpeg也经历过好多次的迭代，可能从官网下载的ffmpeg搭配原来的代码不能正确编译，因为很多api已经变了，所以这次特意抽空全部整理重写一遍，只求最精简最好用，同时兼容了ffmpeg3和ffmpeg4，并且同时支持32位的库和64位的库，这样任何小白拿过去直接编译就能用。
ffmpeg是一个非常快速的视频和音频转换器，也可以从实时音频/视频源中抓取。它还可以在任意采样率之间进行转换，并使用高质量的多相滤波器动态调整视频大小。他能够兼容Windows,Linux以及mac三种操作系统（说白了就是这三种操作系统都能用）。ffmpeg的下载地址是:ffmpeg的下载地址 安装过程没啥好说的，按照提示一直点下一步就行了。这里需要说明的一点是ffmpeg安装好之后最好在PATH中配置ffmpeg的环境变量。配置好之后在命令行中输入ffmpeg会出现如下结果：
为什么说WebRTC做直播，不是潮流而是大坑？这是和Thegobot在Discord上讨论的文章。 About send stream 如果是需要用H5推流，把浏览器当OBS使用，那么只有WebRTC可用。 如果需要支持移动端，比如iOS或Android，在直播场景FFmpeg/OBS比WebRTC要更合适。 如果要适配广播媒体领域的各种推流设备，比如各种推流背包，那么WebRTC目前(2022)绝对支持得不好。若希望降低延迟，应该选择SRT而不是WebRTC。 About play stream 如果是从
GB28181协议是视频监控领域的国家标准，本文将解析如何在FFmpeg中增加对GB28181协议的支持，使其可以与支持GB28181协议的设备进行通信与控制，实现设备的注册、保活以及流媒体的传输。 GB28181协议指的是国家标准GB/T 28181—2016《公共安全视频监控联网系统信息传输、交换、控制技术要求》1，该标准规定了公共安全视频监控联网系统的互联结构， 传输、交换、控制的基本要求和安全性要求， 以及控制、传输流程和协议接口等技术要求，是视频监控领域的国家标准。GB28181协
互联网直播是目前最火的技术之一，涵盖了很多方面的知识（网络，CDN，GPU，算法，图像处理），以下我介绍互联网直播的大体框架和关键技术点：
点击上方“LiveVideoStack”关注我们 ▲扫描图中二维码或点击阅读原文▲ 了解音视频技术大会更多信息 编者按：通过网络支持的实时音视频通话已成为人们日常生活和办公中必不可少的一部分，对于音视频领域的网络技术要求也越来越高。对此，LiveVideoStack特别邀请到了来自美国Paramount Global的张博老师，他以《利用WebTransport进行现场视频流注入》为题来进行相关内容分享。 文/张博 整理/LiveVideoStack 大家好，我叫张博，目前在美国波士顿，供职于美国Pa
SRS4支持了WebRTC播放，John(志宏)大神实现了RTC框架，Bepartofyou(B神)实现了aac转opus，刘连响大神主持定义的协议保持RTMP、HLS、FLV、WebRTC的高度一致性，另外Native Demo正在路上，后续还有更多惊喜。 Scenarios SRS支持WebRTC后，将获得下面新的应用场景： 低延迟直播：RTMP延迟在3到5秒，WebRTC可以在1秒之内，可以基于云计算部署比较稳定的低延迟直播服务；也可以接入CDN厂商，目前阿里云和腾讯云CDN都支持了WebRTC直播
码流(Data Rate)是指视频文件在单位时间内使用的数据流量，也叫码率或码流率，通俗一点的理解就是取样率,是视频编码中画面质量控制中最重要的部分，一般我们用的单位是kb/s或者Mb/s。一般来说同样分辨率下，视频文件的码流越大，压缩比就越小，画面质量就越高。码流越大，说明单位时间内取样率越大，数据流，精度就越高，处理出来的文件就越接近原始文件，图像质量越好，画质越清晰，要求播放设备的解码能力也越高。
据官网介绍，EasyDarwin拥有完整的源代码，可以帮助开发者更快更简单实现流媒体音视频产品功能，使用完全免费；下面就介绍一下EasyDarwin的使用过程。
环境介绍：采用的是华为云的ECS弹性云服务器–镜像安装的CentOS7.4 64位 -----是服务器版，非桌面版哦。
完整工程下载地址(下载即可编译运行): ffmpeg流媒体播放器.zip_qt流媒体播放器-直播技术文档类资源-CSDN下载
用ffmpeg来处理USB摄像头，是前段时间研究视频监控ffmpeg内核的时候搞定的，既然ffmpeg这么牛逼的库可以解析各种音视频，我想处理个本地USB摄像头应该也不是什么难事，果真搜索也是一大堆，当然主要也是因为有个项目的应用需要用到ffmpeg来处理本地USB摄像头，需要拿到每张图片做智能分析，用Qt自带的camera类不大好处理，刚好将ffmpeg的处理流程都搞清楚了，索性直接用ffmpeg来直接处理好了，用上这么强大的解码库，理论上支持各种USB摄像头。本地USB摄像机不需要硬解码，视频流编码类型为 AV_CODEC_ID_RAWVIDEO 像素格式为 AV_PIX_FMT_YUYV422 不经过解码操作直接就可显示。
在旧版的chrome上可以通过vlc插件来播放rtsp视频，但是更新到新版的chrome之后要想播放这个rtsp的视频就变得比较麻烦。如果google一下就会发现有各种解决方案，但是这些方案基本都是收费的。另外一个做法就是通过ffmpeg或者vlc播放器进行协议转换，如果是单个视频流可以通过vlc进行转换，转成http协议，直接通过video标签进行播放即可。但是如果要处理的视频流比较多，那就比较麻烦了。可以通过nginx+ffmpeg进行转换。
今天考虑一个mcu混合的实现，也就是接收多路过来的rtp流，然后转发出去一路的rtmp流，使用ffmpeg测试做的记录，刚开始一直通过ffmpeg推送的文件流不能满足要求，还是对参数配置不熟悉；
本文来自简书JIAAIR，点击阅读原文查看完整文章！ 一、直播现状简介 1.技术实现层面 技术相对都比较成熟，设备也都支持硬编码。IOS还提供现成的 Video ToolBox框架，可以对摄像头和流媒体数据结构进行处理，但Video ToolBox框架只兼容8.0以上版本，8.0以下就需要用x264的库软编了。 github上有现成的开源实现，推流、美颜、水印、弹幕、点赞动画、滤镜、播放都有。技术其实不是很难，而且现在很多云厂商都提供SDK，七牛云、金山云、乐视云、腾讯云、百度云、斗鱼直播伴侣推流端，功能
SRS is a RTMP/HLS/WebRTC/SRT/GB28181 streaming cluster, high efficiency, stable and simple.
https://blog.csdn.net/leixiaohua1020/article/details/11693997
本文来自SeattleVideo Tech 2019年9月的一篇演讲，演讲者是来自谷歌的JoeyParrish, 主要介绍了Shaka Streamer的相关内容。
本文将介绍 RTSP H264/HEVC 裸流如何于网页前端播放。涉及 WebSocket 代理发送流数据， Wasm 前端解码等。
3.1 FFmpeg本身支持一些编码、封装与协议，但是支持的依然有限，有些是因为licence，有些是因为相对来说比较大，FFmpeg所做的是提供一套基础的框架，而这些编码、封装与协议可以作为一个FFmpeg的模块挂在FFmpeg中，这些模块以第三方的外部库的方式提供支持，可以通过FFmpeg的源码的configure进行查看FFmpeg默认支持的编码、封装与协议的支持，不支持的可以再configure –help的时候查看所支持的第三方外部库，可以通过对应的参数选项进行支持：
现在安防设备普遍使用rtsp拉取视频流，要在网页播放rtsp视频流不可以直接实现，html不支持rtsp视频流， 所以需要进行转换成html5可以解析的帧数据然后在浏览器进行播放。传输数据流的长连接，网上很多都是node.js开发的http转websocket，借鉴采用java + netty 进行了这一步的转换。这个地方一定要搞清楚http和WS的区别，为啥要转WS。本文的核心就是http转ws+ js页面帧展示.
好的用户体验就是没有体验。 复杂性并不会消失，只会经过不断的理解学习和改善，让复杂性隐藏在一个configure和docker命令中。就像毛坯房并不能拎包入住，还需要装修、配套的商场、菜市场和学校，以及完善的交通。 致谢 SRT从无到有，是施维大神的努力。 SRT从有到好用，是志宏大神的努力。 两位大神有动力做SRT，原因之一是群里热情的SRT用户，在不断尝试和使用SRT。 问题在哪里 FFmpeg要自己编译出来，很难。 SRT要自己编译出来，比较难，因为有个钻石依赖问题（如下图），任何一步的设置或者版
6.6那天有位朋友参加小学同学的聚会去了，这天刚好是MIKU EXPO 2021线上LIVE的直播，他就委托我给他录个屏以便他回来后欣赏。
// 编者按：随着互联网的发展、流量咨询费用的下降，直播互动越来越多的呈现在大众面前。直播带货、游戏主播，亦或者是大型网课，在直播中良好的网络环境与低延时是优质交互体验的关键。在这个各家云服务厂商标准不统一的年代，如何让低延时直播更加便捷稳定呢？本次LiveVideoStackCon 2022音视频技术大会上海站邀请到了毕伟老师为我们介绍网易云信的解决方案。 文/毕伟 整理/LiveVideoStack 大家下午好！我是网易云信资深音视频引擎研发工程师毕伟，今天为大家介绍云信开源低延时播放器的相关
文 / Jeff Gong, Sahil Dhanju, Chih-Chiang Lu, Yueshi Shen
1 FFmpeg 的基本组成 FFmpeg 的基本组成包含Format、Codec、Filter、Devices、Utils等，结构如图：
SRT是一个广电中新的传输协议，基于UDP，主要实现弱网时更可靠的推流，比如跨国推流、户外4G网络、易干扰的WIFI环境，详细的介绍可以阅读LVS的拆解SRT：新UDP视频传输协议和UDP成为低延时流媒体关键 选SRT还是QUIC？。 runner365(施维)大神，基于SRS实现了SRT推流，以RTMP/HTTP-FLV/HLS/DASH/HDS等协议分发，欢迎runner365成为SRS的第三位主作者。目前SRT已经合并到了SRS4(develop)分支，详细可以阅读原文查看使用说明。 SRT是直播
在网校教学场景中，从主讲端推流，到视频CND节点分发，最后到用户侧设备播放，这 3 个过程，哪一个是最耗时的？直播延迟，主要延在了哪一步？第 2 步。
共享体验社交和在线协作场景逐渐涌现出很多新玩法，例如一起看场景下，通过 TRTC 可以实现音视频实时互动交流，然而各端如何能够保证看到进度相同的电影和演出呢？各端进度同步对齐就会是第一个实现难点，此外还有很多特殊情况和业务需求需要兼容，比如： 如果大家都通过在线视频平台观看，喊321播放然后小伙伴们一起点击播放按钮可行吗？ 那么一起看「高能片段」需要大家同时跳转到某个时刻的视频进度开始怎么办？ 如果是一起看的是直播流，各端无法控制播放进度无法保证对齐怎么处理？ 其中一个小伙伴的视频卡住一会儿，缓冲转圈
• AVUtil：核心工具库，下面的许多其他模块都会依赖该库做一些基本的音视频处理操作。
SRS定位是运营级的互联网直播服务器集群，追求更好的概念完整性和最简单实现的代码。SRS提供了丰富的接入方案将RTMP流接入SRS，
FFmpeg是一个完整的、跨平台的解决方案，用于记录、转换和流化音/视频。 FFmpeg 采用 LGPL 或 GPL 许可证，提供了录制、转换及流化音/视频的完整解决方案。其包含了非常先进的音／视频编解码库 libavcodec。 FFmpeg 是在 Linux 平台下开发的 但是它同样也可以在其他操作系统环境中编译运行，包扩Windows、Mac OS 等系统。这个项目最早是由Fabrice Bellard 发起的，在 2004 年至 2015年由Michael Niedermayer 主要负责维护。许多 FFmpeg 的开发人员都来自 MPlayer 项目组，而 且当前FFmpeg也是被放在 MPlayer 项目组的服务器上的。其名称来自MPEG视频编码标准，“FF” 代表 “Fast Forward”。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
