本节主要讲解 RTSP 协议，通过 wireshark 抓包的方式对协议进行分析。
主要是介绍几款媒体常用软件,方便进行媒体类问题的定位分析,软件大部分是开源的，方便学习相关知识。
简介： 随着音视频领域的火热，在很多领域（教育，游戏，娱乐，体育，跑步，餐饮，音乐等）尝试做音视频直播/点播功能，那么作为开发一个小白，如何快速学习音视频基础知识，了解音视频编解码的传输协议，编解码方式，以及如何技术选型，如何解决遇到的坑，本文抛砖引玉，欢迎大咖交流。
EasyCVR平台支持海量视频汇聚管理，能兼容多类型的设备接入，可覆盖市面上大多数的视频源设备，包括各种IPC、NVR、视频服务器、单兵设备、编码器设备等。平台也可支持多协议接入，包括市场主流标准协议国标GB/T28181、RTMP、RTSP/Onvif协议等，以及厂家私有协议，如海康SDK、大华SDK、海康Ehome等。
关于流媒体传输协议，涉及到不同领域，不同业务场景，种类众多，下面一张图是目前常见的流媒体协议。
全文7732字 包括概要、SRT协议、RIST协议三部分 概要 近些年来，互联网行业出现了几波和音视频相关的热潮：VR、短视频、直播等。除了VR因技术成熟度问题，还在蓄势待发，短视频和直播持续热度不减，以各种方式进入新的行业应用领域。视频直播方向，RTMP仍是最流行的上行传输协议，但RTMP的局限性也越来越凸显： RTMP的容器格式FLV，存在不支持新的codec、不支持多音轨、时间戳精度过低等等缺陷； RTMP基于TCP做传输，TCP的公平、可靠传输设计并不适用于实时音视频传输。 业界出现了一
1992年10月，我开始试验Sun VideoPix的图像采集卡，因为我打算基于IP 组播写一个网络视频会议工具。该工具以vat（由LBL开发的音频会议工具）为模型，其中用到了一个类似的轻量级会话协议，可以让用户加入到会议中，在这个过程中，你只需要发送数据到特定的组播组，并观察是否有来自其他组员的流量。
IPTV 业务是基于宽带互联网与宽带接入，以机顶盒或其它具有视频编解码能力的数字化设备作为终端，通过聚合SP 的各种流媒体服务内容和增值应用，为用户提供多种互动多媒体服务的宽带增值业务。
随着以太网技术在工业网络的大量普及，工业以太网现场的规模逐步扩大，如图 1 网络，除了传统的工业控制设备外，例如高清摄像头等视频系统也会连接在现场的网络中。而类似高清摄像头等此类设备，数据流量很大，会占用大量的带宽，如果不对网络加以管理，有可能造成网络的堵塞，严重的影响通讯。
上一篇文章为大家深入地讲解了 videoSource() 这个非常强大的输入源处理模块，本文的重点将聚焦在 videoOutput() 这个输出标的处理模块。
Real-time Transport Protocol)是用于Internet上针对多媒体数据流的一种传输层协议。RTP协议详细说明了在互联网上传递音频和视频的标准数据包格式。RTP协议常用于流媒体系统（配合RTCP协议），视频会议和一键通（Push to Talk）系统（配合H.323或SIP），使它成为IP电话产业的技术基础。RTP协议和RTP控制协议RTCP一起使用，而且它是建立在UDP协议上的。
最近解决一些摄像头上云问题，由于自研播放器有时存在一些播放问题，按照音视频常见问题分析和解决：延时和抖动这篇文章说的定位问题思路，我决定搭建一些RTMP流媒体服务器，供测试用标准播放器如VLC交叉验证。之所以存在这么多奇怪的问题，是因为接上来的摄像头或者平台总是存在一些私有码流或者码流格式不规范导致。下面简单说下RTMP服务器搭建和测试方法，包括FMS和SRS在win和linux下的搭建方法。
TSINGSEE青犀视频团队经常会通过很多不同的编译方式来实现视频推流，对比各方法下推流的差异。在使用RTP实现推流时，出现SPS于PPS在一个RTP包中，客户端无法解析导致播放失败的问题。
大家好，又见面了，我是你们的朋友全栈君。 这是JRTPLIB@Conference系列的第三编《JRTPLIB的几个重要类说明》，本系列的主要工作是实现一个基于JRTPLIB的，建立在RTP组播基础上的多媒体视频会议系统。这只是一个实验系统，用于学习JRTPLIB、RTP、和多媒体相关的编程，不是一个完善的软件工程。而且，我只会在业余的时间出于兴趣写一写。有志同道合的朋友可以通过tinnal@136.com这个邮箱或博客回复（推荐）和我交流。 上一部《JRTPLIB@Conference DIY视频会议系统 二、基本例程分析 》 这一部的主要内容是要研究一个JRTPLIB常用的几个非常重要的类，在进行JRTPLIB或RTP编程时会经常和这个几类打交道，或都从这些类中继承。
UDP不属于连接协议，具有资源消耗少，处理速度快的优点，所以通常音频，视频和普通数据在传送时，使用UDP较多，因为即使丢失少量的包，也不会对接受结果产生较大的影响。
对于720P分辨率，深度为8的一幅图片的数据量为：1280*720*8(位)，如果视频帧率为15，那一秒钟的数据量为：
我们在进行音视频开发过程中不可避免的需要使用一些工具进行协助开发，本文重点讲解音视频开发过程中常用工具以及常用功能。
TSINGSEE青犀视频的各个平台部署灵活，视频能力丰富且全面、能满足用户的多场景视频监控需求，平台各具特点，可支持多类型的设备、多协议接入，包括国标GB28181协议、RTMP/RTSP/Onvif协议、海康EHOME、海康SDK、大华SDK等，在视频流分发上，能支持全终端、全平台的视频流输出，包括RTSP、FLV、HLS、WebRTC等格式。
这两天研究了FFmpeg获取DirectShow设备数据的方法，在此简单记录一下以作备忘。本文所述的方法主要是对应Windows平台的。
随着以太网技术在工业网络的大量普及，工业以太网现场的规模逐步扩大，除了传统的工业控制设备外，例如高清摄像头等视频系统也会连接在现场的网络中。而类似高清摄像头等此类设备，数据流量很大，会占用大量的带宽，如果不对网络加以管理，有可能造成网络的堵塞，严重的影响通讯。
由于EasyNVR的受众越来越多，时长会遇到很对类似的问题咨询，之前虽然有写过很多的博文进行技术的或者使用问题的解答，随着客户询问的增多，我发现，要想然客户了解问题和解决问题，往往引导和给一个思路比直接给与支持和回答更有效果。因此在后续的博文中我将不间断的更新Easy系列相关问题的自我排查和解决思路和方法。帮助大家解决问题的同时更加了解软件。
1、RTMP(Real Time Messaging Protocol，实时消息传送协议)
点量流媒体服务器除了能实现视频服务器所有功能外，点量流媒体流媒体服务器还可以实现直播转播大并发，加密防盗，边下边播功能，结合ott点播系统使用效果更佳！
RTSP (Real Time Streaming Protocol)，实时流协议，是一种应用层协议，专为流媒体使用。本文将介绍 GStreamer, VLC, FFmpeg 这几个工具，如何发送、接收 RTSP 流。
RTP和RTCP是处理所有多媒体传输的重要协议，于1996年1 月在RFC 1889中定义。
SETUP请求的作用是指明媒体流该以什么方式传输；每个流PLAY之前必须执行SETUP操作；发送SETUP请求时，客户端会指定两个端口，一个端口用于接收RTP数据；另一个端口接收RTCP数据，偶数端口用来接收RTP数据，相邻的奇数端口用于接收RTCP数据！
先来介绍一下什么是流媒体服务器，把视频设备(如DVD,VCD,摄像机，监控头等)的视频信号采集到服务器，供网络访问。能够像Web服务器发布HTML文件一样发布流媒体文件和从摄像机、视频采集卡等设备传来的实况流，从而用户可以使用视频播放器收看这些媒体文件。
流媒体服务器就是把视频设备(如大锅信号、有线信号、DVD,VCD,摄像机，监控头等)的视频信号采集到服务器，供网络访问。能够像Web服务器发布HTML文件一样发布流媒体文件和从摄像机、视频采集卡等设备传来的实况流，从而用户可以使用视频播放器收看这些媒体文件。
说视频之前，先要说说图像。 图像，大家都知道，是由很多“带有颜色的点”组成的。这个点，就是“像素点”。
摄像机和拾音器收集视频及音频数据，涉及技术摄像机为CCD、CMOS，拾音器为声电转换装置、音频放大电路
打游戏的时候，辅助的作用真的是至关重要的，可能一不小心就改变游戏的局势。大家肯定要问我为什么一开始就扯到打游戏的辅助，其实是因为我发现我们的流媒体软件好像在视频直播中也承担了辅助的作用，流媒体的特征就是将连续的音频和视频信息压缩后放到网络服务器上，用户在观看的过程中无需等待下载就可以直接观看，对视频直播来说，简直就是全能辅助啊。
2019年直播行业面临着来势汹汹的短视频挑战，但在垂直细分领域，网络直播平台依旧有着难以企及的位置。如今，直播平台搭建的势头依旧没有减弱，只是更多的人想要将直播平台与更多的行业相结合。对于直播平台搭建来讲，流媒体直播系统传输协议的选择显得尤为重要了。
RTSP（Real Time Streaming Protocol）是由Real Network和Netscape共同提出的如何有效地在IP网络上传输流媒体的应用层协议。RTSP对流媒体提供诸如暂停、快进等控制，而它本身并不传输数据。RTSP的作用相当于流媒体服务器的远程控制。服务器端可以自行选择使用TCP或UDP来传输串流内容，它的语法和运作跟HTTP1.1类似，但并不特别强调时间同步，所以比较能容忍网络延迟。
实现了浏览器 MSE (Media Source Extensions) 播放相机 RTSP (Real Time Streaming Protocol) 流。动手体验一下咯~
1、RTMP(Real RTMP（real time messaging protocol）实时消息传输协议 RTMP 给予TCP协议 是一个协议族 包括RTMP基本协议及RTMPT/RTMPS/RTMPE等多种变种 RTMP 内部使用的格式为 FLV
直播在经历了爆发式增长后，在互联网领域中呈现出稳步增长的状态。前期观望许久的创业开发者们认为“火候到了”，纷纷开始将搭建直播平台项目提上日程。对于平台搭建来讲，流媒体服务器是必不可少的。流媒体的特征就是将连续的音频和视频信息压缩后放到网络服务器上，用户在观看的过程中无需等待下载就可以直接观看。搭建过程中，流媒体服务器起到了一定的作用，简单分为5点。
组播基本架构 单播数据包传输的路径是利用“逐跳”（hop-by-hop）转发原理在IP网络中传输。相较于IP单播，IP组播通信的特点是数据包的目的地址不是一个特定的单一IP地址，而是一个特定组地址。
昨天在找东西的时候，找到了一个OKAA的应用，我一下就陷入回忆了。这个相机是我花了二百多买的。而且配件齐全。。。然后这个公司应该不在了，但是我想破解它一下子。
前段时间着手实现了一个RTSP Server，能够正常实现多路RTSP流的直播播放，因项目需要，只做了对H.264和AAC编码的支持，但是相信其他编码的实现基本逻辑也是想通的。这里我把主要设计和思考过程，以及实现框架分享一下。因为关注的是直播，这里只讨论RTSP直播协议。
一，直播技术框架 二，音视频处理的一般流程 数据采集→数据编码→数据传输(流媒体服务器) →解码数据→播放显示 1、数据采集： 摄像机及拾音器收集视频及音频数据，此时得到的为原始数据 涉及技术或协议：
在旧版的chrome上可以通过vlc插件来播放rtsp视频，但是更新到新版的chrome之后要想播放这个rtsp的视频就变得比较麻烦。如果google一下就会发现有各种解决方案，但是这些方案基本都是收费的。另外一个做法就是通过ffmpeg或者vlc播放器进行协议转换，如果是单个视频流可以通过vlc进行转换，转成http协议，直接通过video标签进行播放即可。但是如果要处理的视频流比较多，那就比较麻烦了。可以通过nginx+ffmpeg进行转换。
EasyPlayer视频流媒体播放器支持RTSP、RTMP、HTTP、HLS、UDP、RTP、File等多种流媒体协议播放、支持本地文件播放，支持本地抓拍、本地录像、播放旋转、多屏播放、倍数播放等多种功能特性。使用了TSINGSEE青犀视频产品的小伙伴都知道，EasyNVR、EasyDSS内都集成了EasyPlayer.JS版本。
目前EasyDarwin流媒体平台整套解决方案包括有： EasyDarwin(流媒体服务) EasyCamera(开源流媒体摄像机) EasyPlayer（开源流媒体播放器） 工具库(EasyHLS / EasyRTMP / EasyRTSPClient / EasyPusher / EasyAACEncoder) 注意：EasyDarwin有两个私有自定义的Module：拉模式转发模块EasyRelayModule和HLS直播模块EasyHLSModule，这里用到的libEasyRTSPClient、libEasyPusher、libEasyHLS三个库文件都是没有开源的，他们都是EasyDarwin团队开发的SDK库，但这些都是完全免费使用的。 EasyDarwin的编译和部署可以参考官方的文档 http://doc.easydarwin.org/EasyDarwin/README/#_1 一.主体框架 DSS的核心服务器部分是由一个父进程所fork出的一个子进程构成，该父进程就构成了整个流媒体服务器。父进程会等待子进程的退出，如果在运行的时候子进程产生了错误从而退出，那么父进程就会fork出一个新的子进程。可以看出，网络客户和服务器直接的对接是由核心服务器来完成的。网络客户RTSPoverRTP来发送或者接受请求。服务器就通过模块来处理相应的请求并向客户端发送数据包。 核心流媒体服务通过创建四种类型的线程来完成自己的工作，具体如下： 服务器自己拥有的主线程。当服务器需要关闭检查，以及在关闭之前记录相关状态打印相关统计信息等任务处理时，一般都是通过这个线程来完成的。 空闲任务线程。这个任务线程是用来对一个周期任务队列的管理，主要管理两种任务，超时任务和Socket任务。 事件线程。套接口相关事件由事件线程负责监听，当有RTSP请求或者收到RTP数据包时，事件线程就会把这些实践交给任务线程来处理。 任务线程。任务线程会把事件从事件线程中取出，并把处理请求传递到对应的服务器模块进行处理，比如把数据包发送给客户端的模块，在默认情况下，核心服务器会为每个处理器核创建一个任务线程。 二.模块分类 流媒体服务器使用模块来响应各种请求及完成任务。有三种类型的模块： (1).内容管理模块 媒体源相关的RTSP请求与响应，我们通过内容管理模块来管理，每个模块都用来对客户的需求进行解释并做相应处理，例如读取和解析模块支持的文件，或者请求的网络源信息，并通过RTP等方式响应。 内容管理模块有以下几个： QTSSFileModule， QTSSReflectorModule， QTSSRelayModule， QTSSMP3StreamingModule。 (2).服务器支持模块 服务器支持模块执行服务器数据的收集和记录功能。 服务器模块包括： QTSSErrorLogModule， QTSSAccessLogModule， QTSSWebStatsModule， QTSSWebDebugModule， QTSSAdminModule， QTSSPOSIXFileSystemModule。 (3).访问控制模块 访问控制模块提供鉴权和授权功能，以及操作URL路径提供支持。 访问控制模块包括： QTSSAccessModule， QTSSHomeDirectoryModule， QTSSHttpFileModule， QTSSSpamDefenseModule。
=====================================================
Streamedian 提供了一种“html5_rtsp_player + websock_rtsp_proxy”的技术方案，可以通过html5的video标签直接播放RTSP的视频流。
RIST，全称Reliable Internet Stream Transport，目的是打造一个可信赖的互联网流媒体协议，在弱网情况下保证数据流的可靠传输，并作为一个开源的协议可以在某些场景下作为商业版的ZIXI等可靠协议传输替代者。
EasyCVR平台支持海量视频设备接入、视频汇聚与管理、转码与分发、告警上报、平台级联、智能分析等等。平台基于云边端一体化架构，凭借其出色的视频能力，已经成为安防市场主流的视频能力层服务平台。在功能上，EasyCVR可实现视频监控直播、录像、检索与回放、云存储、语音对讲、告警、平台级联、设备监测、远程运维等。
该功能实现，主要需要考虑RTSP取摄像头视频流，拆RTP包，组H264帧，通过PJSIP的视频通道转发；这个过程中，涉及到RTP通道保活，RTSP通道保活；调试时间多耗费在对摄像头返回的RTP数据包的拆解和重新组H264帧上面。
MediaMTX是个开源的轻量级流媒体服务器，它的安装过程参见《FFmpeg开发实战：从零基础到短视频上线》一书的“10.2.2 FFmpeg向网络推流”。MediaMTX下载后的压缩包包括可执行程序mediamtx.exe和配置文件mediamtx.yml，看起来非常简约，但它提供的流媒体服务一点也没缩水。双击mediamtx.exe，MediaMTX弹出一个命令行窗口，窗口内部的日志信息如下：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
