前面完成了视频RTMP推流实践，本文介绍RTMP的音频推流，包括AACg711a,g711u三种场景音频推流。基于前面的视频推流实践，我们新增了推流AAC,g711a,g711u的三个接口。分别为SendAAcData(),sendg711a_audio(),sendg711u_audio()，对外提供API调用。接口类对外定义如下：
EasyRTSPLive是由TSINGSEE青犀开放平台开发和维护的一个完善的行业视频接入网关，拉流IPC摄像机或者NVR硬盘录像机RTSP流转成RTMP推送到阿里云CDN/腾讯云CDN/RTMP流媒体服务器，支持多路RTSP流同时拉取并以RTMP协议推送发布。
其中音频输入和音频输出存在设备和通道的概念。其中一个 MIC 认为是一个 Device，而一个 MIC 可以有多路 Channel 输入。同样的一个 SPK 认为是一个放音 Device， 而一个 SPK 也可以有多路 Channel 输出。当前版本的音频 API 一个 Device 只支持一个 Channel。 （T31只一路输入和一路输出）
为什么要解析FLV格式？ 在直播项目里面遇到需要统计flash视频帧间隔时长，首帧，GOP，等关键数据的时候，不可避免的需要对flv文件进行解析。 名词定义 首帧：是指用户看到第一个视频帧。 首帧时长：是指用户打开网页到看到第一个视频帧。 I帧：视频关键帧，包含全部的图形信息。 P帧：视频间隔帧，是根据P帧前面的P帧或者I帧diff出来的帧。数据量比I帧小。 GOP：Group of picture（图像组），指两个I帧之间的距离 FLV文件格式的定义 FLV格式定义：FLV是一种容器格式，它支持的音频编码
音频：常见的音频格式是MP3格式，也就是我们使用网易云音乐听歌，歌曲就是音频文件。
在直播项目里面遇到需要统计flash视频帧间隔时长，首帧，GOP，等关键数据的时候，不可避免的需要对flv文件进行解析。
『音视频技术开发周刊』由LiveVideoStack团队出品，专注在音视频技术领域，纵览相关技术领域的干货和新闻投稿，每周一期。点击『阅读原文』，浏览第92期内容，祝您阅读愉快。 架构 从通信到AI FreeSWITCH与WebRTC FreeSWITCH是一个开源的软交换平台，具有模块化结构，支持包括WebRTC在内的多种互通互联。本文来自FreeSWITCH 中文社区创始人杜金房在LiveVideoStack线上交流分享中的演讲，详细介绍了FreeSWITCH的功能特性、架构以及现状。 如何利用免版
前面提到的例子中，我们使用君正T31的设备都是直接使用API函数进行采集声音，然后直接播放声音的，其中涉及两组API，一组是AI，音频输入函数，一组是AO，音频输出函数。
视频转码技术将视频信号从一种格式转换成另一种格式。 在音视频转码时，对于视频，可以改变分辨率(resolution)、帧率(frame rate)、比特率(bit rate)等编码参数；对于音频，可以改变采样率(sample rate)、通道数(channels)、位宽（sample format）等编码参数。
测试发现，通过SkeyePlayer拉取网络摄像机的流, 其音频可能是G711，G726等，而写MP4或者转推RTMP等都不支持这些音频格式，那么我们就需要将其音频转码成AAC，可以使用libSkeyeAACEncoder库进行转码，然后写MP4或者推送；然而，在实际应用中，我们发现转码过程其实还是比较耗时的，它甚至会导致解码线程来不及从而使直播延时增大，所以，我们采用队列缓存+线程的方式来优化录像和抓图。
视频监控不仅仅要上云，还要支持多端播放，这一块在移动端APP和PC端难度不大，只要能实现一个简单的播放器引擎内核，然后交叉编译为不同端的SDK就可以。随着移动互联网的发展，特别是微信生态的完善。很多客户都在做轻量的微信小程序，所以支持在网页、微信小程序的点直播就很有必要了。
目前OpenSKEYE团队准备推出一款全平台的面向多种流和媒体的全能播放器SkeyeExPlayer，下面列出SkeyeExPlayer(for Windows)的开发计划；
VBD模式：MG不对T30传真信号做任何处理直接打包在RTP协议中，以RTP流的方式发送(这种方式传真信号是同语音流，所以需要将语音编码方式协商成G711无损编码方式，以减小对传真信号的损害)
EasyCVR是TSINGSEE青犀视频研发的视频上云网关，设备端有公网IP，可通过海康SDK、Onvif/RTSP、GB28181、ehome协议接入到EasyCVR中；设备端无公网IP，可通过GB28181、ehome协议接入到EasyCVR中，也可在内网安装EasyNTS设备，与公网建立传输通道，这样即可通过海康SDK、Onvif/RTSP接到EasyCVR中。
近期正在探索前端、后端、系统端各类常用组件与工具，对其一些常见的组件进行再次整理一下，形成标准化组件专题，后续该专题将包含各类语言中的一些常用组件。欢迎大家进行持续关注。
在我之前写的一篇文章《SkeyeRTSPLive传统视频监控互联网+实现利器解决方案》中提到RTSP转RTMP的转流过程，简化流程就是通过SkeyeRTSPClient拉RTSP流，获取音视频编码数据，然后再通过SkeyeRTMP推出去，流程非常简单；然后再实际开发过程中，我们发现其实这个过程并没有想象中那么简单；首先，RTSP协议支持多种音视频编码格式，如音频支持AAC,G711，G726,等，视频支持H264，H625，MJPEG, MPEG等等各种格式，而SkeyeRTMPPusher推流只支持H264（已扩展支持H265）格式，这时，音频我们可以通过SkeyeAACEncoder将音频转码成AAC格式，而视频我们可以通过SkeyeVideoDecoder解码成原始数据，然后再通过SkeyeVideoEncoder将原始数据转码成RTMP推送指定的格式，本文，我们将重点讲述SkeyeVideoDecoder的软解码流程。
作者简介 本文作者为携程基础业务研发部呼叫中心团队，其在传统呼叫中心基础上，结合软交换、智能分配、自动语音语义处理等技术，为携程用户提供人性化、人机互动、便捷的电话语音服务。 一、前言 智能手机早已成为日常生活中不可或缺的一部分，随着移动互联网的快速发展，人们的生活习惯与工作方式也在不断发生改变。从移动通信、移动支付，再到移动办公，“移动化”已渗透至各行各业，并逐步成为企业业务发展的趋势。 携程呼叫中心研发团队根据业务的需求，研发完成了一套完整的呼叫中心移动坐席解决方案，使业务坐席不再受制于工作时间、办公地
抖音相信大家都听说过，但是知道有 Web 版抖音 的人可能要少一些，和 TikTok 一样抖音也有 Web 版本，可以让我们在浏览器中就可以刷短视频和观看抖音直播。抖音是如何实现在浏览器中直播的呢？本篇文章来解析抖音直播的技术原理。
RTSP（Real Time Streaming Protocol）是一种用于控制实时流媒体传输的网络协议。它允许客户端与服务器进行交互，控制流媒体的播放、暂停、停止、倒放、快进等操作。RTSP协议可以用于音频、视频等多种流媒体数据的传输。
今天，我们着重讲解的是视频输出中的RTMP推流功能，这也是我们EasyNVR功能组件中，最为重要的一个组成部分！ EasyRTMP是一套封装了基础的RTMP推流协议，并提供了一套非常简单易用调用接口的功能组件，在Github上有多个基于EasyRTMP SDK的Demo。Github地址：https://github.com/EasyDSS/EasyRTMP， Demo中EasyRTMP_RTSP项目是将RTSP流获取到本地进行RTMP推送，可进行RTMP直播。
Easy系列从开源到SDK组件，再到产品、解决方案、硬件，从2012年EasyDarwin开始，专注于流媒体音视频这一领域已经非常多年了，积累了丰富的行业经验，同时也积累了众多的产品，产品的名称非常多，为了让更多的同学能更好地了解Easy系列的方案，今天TSINGSEE青犀视频汇总了一下EasyDarwin开源社区提供的开源与免费的项目与产品：
RTMP Streamer是一个安卓手机端的开源RTMP直播推流框架，可用于RTMP直播和RTSP直播，其升级版还支持SRT直播（腾讯视频云就采用SRT协议）。RTMP Streamer支持的视频编码包括H264、H265、AV1等等，支持的音频编码包括AAC、G711、OPUS等等，可谓功能强大的APP直播框架。
LiveVideoStack：张军你好，请简要介绍下自己，以及自己和团队专注的技术领域。
在我之前写的一篇文章《SkeyeRTSPLive传统视频监控互联网+实现利器解决方案》中提到RTSP转RTMP的转流过程，简化流程就是通过SkeyeRTSPClient拉RTSP流，获取音视频编码数据，然后再通过SkeyeRTMPPusher推出去，流程非常简单；然后再实际开发过程中，我们发现其实这个过程并没有想象中那么简单；首先，RTSP协议支持多种音视频编码格式，如音频支持AAC,G711，G726,等，视频支持H264，H625，MJPEG, MPEG等等各种格式，而SkeyeRTMP推流只支持H264（已扩展支持H265）格式，这时，音频我们可以通过SkeyeAACEncoder将音频转码成AAC格式，而视频我们可以通过SkeyeVideoDecoder解码成原始数据，然后再通过SkeyeVideoEncoder将原始数据转码成RTMP推送指定的格式，本文，我们将重点讲述SkeyeVideoDecoder基于Intel硬解码库的硬解码流程。
作者简介 韩海龙，携程通信技术中心工程师，负责VoIP，软交换相关领域技术研究与开发，及携程呼叫中心语音中继接入工作。 一、SBC简介 随着互联网及RTC通信技术的不断发展，使得VoIP技术 近几
在我之前写的一篇文章《SkeyeRTSPLive传统视频监控互联网+实现利器解决方案》中提到RTSP转RTMP的转流过程，简化流程就是通过SkeyeRTSPClient拉RTSP流，获取音视频编码数据，然后再通过SkeyeRTMPPusher推出去，流程非常简单；然后再实际开发过程中，我们发现其实这个过程并没有想象中那么简单；首先，RTSP协议支持多种音视频编码格式，如音频支持AAC,G711，G726,等，视频支持H264，H625，MJPEG, MPEG等等各种格式，而SkeyeRTMPPusher推流只支持H264（已扩展支持H265）格式，这时，音频我们可以通过SkeyeAACEncoder将音频转码成AAC格式，而视频我们可以通过SkeyeVideoDecoder解码成原始数据，然后再通过SkeyeVideoEncoder将原始数据转码成RTMP推送指定的格式，本文，我们将重点讲述SkeyeVideoDecoder基于Nvidia(英伟达)独立显卡的解码流程。
随着互联网的发展，传统安防行业已不再满足于仅仅通过一台PC机器，或者一台NVR接入摄像机源进行录像和监控的基本要求，人们迫切的需要利用目前相当便利的网络环境，以便能实现随时随地的观看到适应各种网络环境和各种终端设备的低延时的音视频视频监控，录像取证和应急处理，而不再受到时间和地域的限制。同样，对于互联网服务，PC电脑也不再是唯一选择，智能手机、平板电脑、特定的移动终端等都是可选择的用户终端硬件方式；因此，我们需要一款能将安防协议，电视广播协议以及其他各种格式的流媒体协议接入到互联网上来，通过一种统一格式的协议进行多平台多终端直播。
首先，我们来看看I帧的PS流格式，这里需要注意的是SPS、PPS之前要加上PES头部。如下图所示，其中绿色部分就是我们拿到的H.264裸流数据，须将它拆分成三段并在前面加上PES头部。这一点在GB28181标准中没有细说，需要通过分析海康IPC流才能看出。
在预览图片的时候，利用手势控制图片的缩放、平移，已经是智能手机时代最基本的操作。而对于视频，很少有播放器支持这样的操作。实际上，在观看视频的时候，我们可能会想观看某个区域的局部细节，需要把该区域放大来观看，EasyPlayer播放器基于这样的需求，提供了局部放大的功能。
MediaCodec类Android提供的用于访问低层多媒体编/解码器接口，它是Android低层多媒体架构的一部分，通常与MediaExtractor、MediaMuxer、AudioTrack结合使用，能够编解码诸如H.264、H.265、AAC、3gp等常见的音视频格式。广义而言，MediaCodec的工作原理就是处理输入数据以产生输出数据。具体来说，MediaCodec在编解码的过程中使用了一组输入/输出缓存区来同步或异步处理数据：首先，客户端向获取到的编解码器输入缓存区写入要编解码的数据并将其提交给编解码器，待编解码器处理完毕后将其转存到编码器的输出缓存区，同时收回客户端对输入缓存区的所有权；然后，客户端从获取到编解码输出缓存区读取编码好的数据进行处理，待处理完毕后编解码器收回客户端对输出缓存区的所有权。不断重复整个过程，直至编码器停止工作或者异常退出。
好多开发者聊到GB28181的时候，不可避免的提到H.265编码国标平台是否支持？实际上，GB/T28181-2016里面，并未提及H.265编解码相关，具体参见以下说明：
《FFmpeg开发实战：从零基础到短视频上线》一书在第10章介绍了轻量级流媒体服务器MediaMTX，通过该工具可以测试RTSP/RTMP等流媒体协议的推拉流。不过MediaMTX的功能实在是太简单了，无法应用于真实直播的生产环境，真正能用于生产环境的流媒体服务器还要看SRS或者ZLMediaKit。
要实现这几种显示模式。其实只要对播放控件的布局进行些许调整即可。**那EasyPlayer-Android的分屏策略和二分屏设置是如何实现呢？
本文档将介绍Allwinner Tina Linux 系统各个芯片平台支持的多媒体格式，旨在帮助软件开发工程师、技术支持工程师查找各芯片平台支持哪些多媒体格式。
Hi3798C V200是用于DVB和IPTV机顶盒市场的支持4KP60解码的超高清高性能SOC芯片，集成4核64位高性能Cortex A53处
Hi3798M V100是海思推出的专门针对OTT机顶盒市场的高性价比芯片方案。在码流兼容性、在线视频播放的流畅性、图像质量以及整机性能方面保持业界最好的用户体验。集成四核高性能处理器、内置NEON，其处理性能可以满足各种差异化的业务需求，支持Dolby和DTS音频处理。
原文链接 / https://bloggeek.me/webrtc-video-codec/
国家为了规范安防行业的设备平台互联互通，在2012年出台了GB/T-28181的第一版标准：
——如果要学习一个新的知识点，官方手册可能是最快的途径。查看网上其他人的总结也许入门更快，但是要准确，深入，完整，还是要看官方手册。 以下内容来自对官方文档Video File Format Specification Version 10的分析总结。过程中借助ffmpeg实际转换了一个flv文件用例研究。 一个FLV文件，每种类型的tag都属于一个流，也就是一个flv文件最多只有一个音频流，一个视频流，不存在多个独立的音视频流在一个文件的情况。（mp4好像是可以的） 另外，FLV文件格式所用的是大端序。
最近正好又用到 DM368 开发板，就将之前做的编解码的项目总结一下。话说一年多没碰，之前做的笔记全忘记是个什么鬼了。还好整理了一下出图像了。不过再看看做的这个东西，真是够渣的，只能作为参考了。
闲来无事，我们今天探讨下音视频绕不开的一个话题：WebRTC。WebRTC之于音视频行业，无异于FFMpeg，可以说WebRTC的开源，让音视频行业大跨步进入发展快车道。
GB/T28181-2022相对来GB/T28181-2016针对H.265、AAC的更新如下：
原生开发是指在Android、IOS 等移动平台上利用官方提供的开发语言、开发类库、开发工具进行APP开发。
“网络视频直播系统怎么开发、有什么难点”这类文章实在是太难写了，因为开发直播APP软件需要至少全国用户能够跨平台流畅观看，这其中涉及到的点太多太复杂了，所以讲清楚网络视频直播系统怎么开发、开发途中会有什么难点，可能出现什么问题，这件事要细水长流，本篇文章先讲一些开发直播app软件需要用的基础知识，至于其他的，我们日后再谈。
1.数据采集：摄像机及拾音器收集视频及音频数据，此时得到的为原始数据涉及技术或协议：摄像机：CCD、CMOS拾音器：声电转换装置（咪头）、音频放大电路。
Hi3798MV200是用于IPTV/OTT机顶盒市场的支持4KP60解码的全4K高性能SOC芯片。集成4核64位高性能Cortex A53处理器和多核高性能2D/3D加速引擎；支持H.265 4Kx2K@P60 10bit超高清视频解码，高性能的H.265高清视频编码，HDR视频解码及显示，Dolby和DTS音频处理；内置USB2.0、USB3.0、SDIO3.0、PCIe2.0等丰富外设接口。可支持客户实现全4K业务部署，在图像质量、码流兼容性、视频播放的流畅性以及整机性能方面保持业界最好的用户体验，同时满足不断增长的视频通信、卡拉OK、云游戏、多屏互动等增值业务需求。
本文来自网易云音乐音视频实验室负责人刘华平在LiveVideoStackCon 2017大会上的分享，并由LiveVideoStack根据演讲内容整理而成（本次演讲PPT文稿，请从文末附件下载）。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
