其实老早就想写一些关于音视频学习的文章了，但由于各方面的原因迟迟都没有开始。一个方面是因为笔者写文章都是成系统的，音视频需要大家有一定的 c/c++ 基础；还有一个方面是因为之前经验不足，这一块涉及到的细节也比较多。我自己学习时看过大量的文章和资料，这里推荐 雷霄骅的专栏 ，虽然文章的更新永远停在了那一刻，但其无私分享的精神值得我们每一个开发者学习。音视频这系列文章我们打算从基础开始学，然后结合移动端 NDK 来开发。因此如果你已经是音视频开发的老司机，那么本文可能不太适合你，其次如果之前没了解过 NDK 开发，学习起来也可能会有些难度。
一种是在电声领域的硬件音频编解码器, 严格说应称作D/A（数字/模拟）转换器, 其主要作用是编码端把模拟音频信号转换成数字信号,解码端把读取的数字音频信息转换成模拟音频信号输出，供功率放大重放。
它功能强大，用途广泛，大量用于视频网站和商业软件（比如 Youtube 和 iTunes），也是许多音频和视频格式的标准编码/解码实现。
本文档将介绍Allwinner Tina Linux 系统各个芯片平台支持的多媒体格式，旨在帮助软件开发工程师、技术支持工程师查找各芯片平台支持哪些多媒体格式。
HTML5 视音频发展史 HTML5学堂：在Flash与HTML5的争霸当中，最终Flash败北，而能够替代Flash播放器功能的就是HTML5中的视音频功能。本文介绍了HTML5出现前后，实现视音频方法的变化以及视音频的编码格式。 早期实现视音频的方法 在网页当中，早期的视音频标签通常采用embed和object两种标签嵌套。之所以采用这种方式，主要与两种标签的支持程度有关。 对于embed标签，大部分的浏览器都能够支持，但是并没有纳入到W3C标准当中，而object标签，虽然得到了W3C标准的支持，
① 视频数据回顾 : 手机使用 Camera 采集 NV21 格式的图像数据 , x264 编码库将图像数据编码成 H.264 格式的视频数据 ;
编者按：春节前夕的最后一次采访，LiveVideoStack有幸邀请到了北京理工大学信息与电子学院副教授王晶。王教授目前在北京理工大学信息与电子学院通信技术研究所从事教学科研工作，讲授本科生《数字通信网》和研究生《语音信号数字处理（全英文）》课程。在教学的同时，王教授还承担有国家自然科学基金、国家重大科技专项、国际合作项目及与中国移动、华为等的企事业横向科研项目。她长期参与信息技术领域标准化工作，目前为AVS中国数字音视频编解码标准组织成员，CCF语音对话与听觉专委会委员。在此次与LiveVideoStack的对话中，王教授分享了过去几年音频领域的重要发展和创新、音频编解码器的独特之处、AI与音频编码技术结合的突破以及目前音频领域人才培养和输出所面临的困境等。
今天给大侠带来 FPGA Xilinx Zynq 系列第三十三篇，开启二十章，本篇也是 Part B 最后一篇，带来探索 IP Integrator 等相关内容，本篇内容目录简介如下：
本文介绍一个最简单的基于FFMPEG的音频编码器。该编码器实现了PCM音频採样数据编码为AAC的压缩编码数据。编码器代码十分简单，可是每一行代码都非常重要。通过看本编码器的源码。能够了解FFMPEG音频编码的流程。
一直想把视音频编解码技术做一个简单的总结，可是苦于时间不充裕，一直没能完成。今天有着很大的空闲，终于可以总结一个有关视音频技术的入门教程，可以方便更多的人学习从零开始学习视音频技术。需要注意的是，本文所说的视音频技术，指的是理论层面的视音频技术，并不涉及到编程相关的东西。
iOS/Android 客户端开发同学如果想要开始学习音视频开发，最丝滑的方式是对音视频基础概念知识有一定了解后，再借助 本地平台的音视频能力上手去实践音视频的采集 → 编码 → 封装 → 解封装 → 解码 → 渲染过程，并借助音视频工具来分析和理解对应的音视频数据。
ffplay 命令的 -codec:media_specifier 参数 用于 设置 多媒体解码器 , 通过该参数 可以 为 不同的媒体类型 ( 音频 / 视频 / 字幕 ) 指定解码器 ;
Instagram在形成有意义的社区方面起着至关重要的作用，这是因为人们可以在Instagram上相互联系彼此并分享对他们来说最感兴趣的事情。为了帮助更好地促进这些联系，我们始终以高质量的共享体验为目标来开发和优化应用程序。这让我们引以为豪：）优化Instagram体验的其中一个方法就是提高音频质量。
常见的AVI、RMVB、MKV、ASF、WMV、MP4、3GP、FLV等文件其实只能算是一种封装标准。
在线直播可以说从去年开始变成了一个火爆的创业领域，一下子出来了很多做视频直播的公司。但说实话这方面的技术书籍实在是非常的少，网上的资料也很零散，所以我决定写一些列介绍视频技术的文章。今天这篇文章先对视频技术中的基础概念做一些简单的总结。
音视频处理在现代多媒体应用中起着重要的作用。C++是一种强大且广泛使用的编程语言，提供了许多用于处理音频和视频数据的库和工具。本文将介绍C++中常用的音频和视频编码解码技术，以及相关的库和工具。
前面我们历经千难万险和重重障碍，接下来，我们音视频通信的二位主角终于要粉墨登场了，那就是音频君和视频君，这一篇我们来一睹音频君的风采。老样子，抓包文件先摆上来：
之前的文章中,我带着大家来计算过CD音质的数据采样,每分钟需要存储空间约为10.1MB.从存储的角度或者网络实时传播的角度.这个数据量都是太大了.对于存储和传输都是非常具有挑战的.所以我们需要通过压缩编码
第一节，初识html5的video标签： video 元素支持三种视频格式： Ogg，带有 Theora 视频编码和 Vorbis 音频编码的 Ogg 文件 MPEG 4，带有 H.264 视频编码和 AAC 音频编码的 MPEG 4 文件 WebM，带有 VP8 视频编码和 Vorbis 音频编码的 WebM 文件 control 属性供添加播放、暂停和音量控件。 与 之间插入的文字内容是供不支持 video 元素的浏览器显示的 video基本控制： 两个方法：pla
Android 直播推流流程 : 手机采集视频 / 音频数据 , 视频数据使用 H.264 编码 , 音频数据使用 AAC 编码 , 最后将音视频数据都打包到 RTMP 数据包中 , 使用 RTMP 协议上传到 RTMP 服务器中 ;
在使用 腾讯实时音视频（TRTC） 进行云端混流转推时，可能会出现混流失败的情况，其中一种错误的情况是因为在非纯音频的情况下，缺少了相关的音频编码参数，导致混流出现失败的情况，比如通过云端的日志检查发现是因为发起混流参数缺少了音频编码的参数。
1)流媒体协议是服务器与客户端之间通信遵循的规定。当前网络上主要的流媒体协议如表所示。
耽误了很久，一直想写音视频开发的教程，一方面，音视频的发展正在向各个行业扩展，从教育的远程授课，交通的人脸识别，医疗的远程就医等，音视频方向已经占据一个相当重要的位置，而音视频真正入门的文章又少之甚少，一个刚毕业小白可能很难切入理解,因为音视频中涉及大量理论知识,而代码的书写需要结合这些理论,所以搞懂音视频,编解码等理论知识至关重要。另一方面，公司的业务也在逐渐向音视频靠拢，我需要先将积累的知识点重新梳理后分享给其他同学。
目前，一对一直播源码平台已经不能满足广大社交场景和人群了，而多人语音聊天室源码的开发属性，正好满足此需求，也让社交更加多样化、娱乐化，那么在技术上如何开发多人语音聊天室源码呢？
点击上方“LiveVideoStack”关注我们 ▲扫描图中二维码或点击阅读原文▲ 了解音视频技术大会更多信息 ---- 作者：Leonardo Chiariglione 翻译：Alex 技术审校：冯建元 音频编码 视 野 #011# 前言 很明显，声音信息的电子格式要早于视觉信息的电子格式，用电子格式分发声音信息的服务也是如此。同样，音频的数字格式与视频数字格式的出现时间也不同。在上世纪80年代初，唱片公司可以通过CD（Compact Disc）向消费者市场发行数字音频，而在80年代
EasyDarwin 是基于 go 语言研发，维护和优化的一个高性能开源 RTSP 流媒体服务器，能够帮助流媒体开发者和创业型企业快速构建流媒体服务平台，更快，更简单的实现最新的移动互联网流媒体直播和点播，同步音频和视频的传输，源码下载地址：
视频编码所谓的视频编码就是指通过特定的压缩技术，将某个视频格式文件转换成另一种视频格式文件的方式。视频流传输中最重要的编解码标准有国际电联的 H.261、H.263、H.264，运动静止图像专家组的 M-JPEG 和国际标准化组织运动图像专家组的 MPEG 系列标准，此外在互联网上被广泛应用的还有 Real-Networks 的 RealVideo、微软公司的 WMV 以及 Apple 公司的QuickTime 等。 视频编码分为两个系列，分别介绍如下。
在数字时代，视频已经成为一种主要的内容形式。但是理解和解释视频内容是一项复杂的任务，不仅需要视觉和听觉信号的整合，还需要处理上下文的时间序列的能力。本文将重点介绍称为video - llama的多模态框架。Video-LLaMA旨在使LLM能够理解视频中的视觉和听觉内容。论文设计了两个分支，即视觉语言分支和音频语言分支，分别将视频帧和音频信号转换为与llm文本输入兼容的查询表示。
那同样都使用VQGAN-CLIP，到底是用文字生成还是用这种音频表示的生成效果更好呢？
Easy系列从开源到SDK组件，再到产品、解决方案、硬件，从2012年EasyDarwin开始，专注于流媒体音视频这一领域已经非常多年了，积累了丰富的行业经验，同时也积累了众多的产品，产品的名称非常多，为了让更多的同学能更好地了解Easy系列的方案，今天TSINGSEE青犀视频汇总了一下EasyDarwin开源社区提供的开源与免费的项目与产品：
相信大家已经看过前面一些介绍jmeter的文章，对这个测试工具已经有了“深入”的了解。在接口测试中，通常我们发送的请求不是一成不变的，使用参数化功能可以解决对不同数据的需求，但对于需要随机参数的地方，我们需要另外的一些方法。今天我就来介绍一下jmeter中很重要的一类功能——随机参数。
📷 点击上方“LiveVideoStack”关注我们 近期，谷歌推出了一款基于AI的音频编解码器——SoundStream。根据谷歌介绍，SoundStream是首个可以编码不同声音类型、同时提供高质量音频并能在智能手机CPU上实时运行的神经网络编解码器。今年早些时候，谷歌曾发布了一款名为Lyra的超低比特率音频压缩编解码器。一年之内，谷歌推出了两款基于AI的音频编解码器。这两款编解码器究竟有什么不同？谷歌为什么如此专注于低比特率的音频压缩？SoundStream是否将成为一款通用音频编解码器，还是只专注于
AAC（Advanced Audio Coding）是一种现代的音频编码技术，用于数字音频的传输和存储领域。AAC是MPEG-2和MPEG-4标准中的一部分，可提供更高质量的音频数据，并且相比于MP3等旧有音频格式，AAC需要更少的比特率。
大家好，从本文开始我们将从 Android 音视频专题开始探索，并按照 iOS/Android 音视频开发专题介绍 依次开始。iOS 音视频专题将在 Android 音视频专题结束后进行。 在进入实战之前，我们有必要了解下音视频相关术语。
FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。在音视频开发过程中，经常需要使用 FFmpeg 将原先的一个单视频文件转换为多个HLS 流文件，用于视频直播和点播，当然我们视频直播点播平台EasyDSS也会使用FFmpeg作为能力程序，当需要将视频流转化为HLS 流时，我们就可以通过FFmpeg来进行转换。
./configure –enable-static –enable-version3 –enable-gpl –enable-nonfree –enable-libfdk-aac –enable-libopencore-amrnb –enable-libopencore-amrwb –enable-libvo-amrwbenc –enable-libilbc –enable-libvpx –enable-libx264 –enable-libopenjpeg –enable-pic –enable-libass –enable-libvpx –enable-libx265
从信息论的观点来看，描述信源的数据是信息和数据冗余之和，即：数据=信息+数据冗余。音频信号在时域和频域上具有相关性，也即存在数据冗余。将音频作为一个信源，音频编码的实质是减少音频中的冗余。
EasyRTSPLive是由TSINGSEE青犀开放平台开发和维护的一个完善的行业视频接入网关，拉流IPC摄像机或者NVR硬盘录像机RTSP流转成RTMP推送到阿里云CDN/腾讯云CDN/RTMP流媒体服务器，支持多路RTSP流同时拉取并以RTMP协议推送发布。
虽然配置的界面看起来很复杂，不过不用担心，其实视频压缩最关键的因素就是码率，视频的码率决定了最终视频文件的大小。
音视频是一个有一定技术门槛的垂直领域，对于前端、iOS/Android 客户端、服务端开发同学来说，这都是一个不错的职业发展方向。对于刚开始接触音视频开发的同学，最头疼的问题应该是音视频纷繁庞杂的概念，如果删繁就简，音视频生产及消费的核心环节其实只有：采集（声音和图像的数字化） → 编码（压缩数据便于存储和传输） → 封装（按格式封装便于控制音视频的展现） → 传输（用于网络） → 解封装（封装的逆过程） → 解码（编码的逆过程） → 渲染（声音和图像的展现）。
AAC是高级音频编码（Advanced Audio Coding）的缩写，出现于1997年，最初是基于MPEG-2的音频编码技术。由Fraunhofer IIS、Dolby Laboratories、AT&T、Sony等公司共同开发，目的是取代MP3格式。2000年，MPEG-4标准出台，AAC重新集成了其它技术（PS,SBR），为区别于传统的MPEG-2 AAC，故含有SBR或PS特性的AAC又称为MPEG-4 AAC。
Nyquist 采样率大于或等于连续信号最高频率分量的 2 倍时，采样信号可以用来完美重构原始连续信号。
MP3 是我们在日常生活中最常见的音频格式之一，但是作为音视频相关的开发人员有没有这样的疑问：MP3 到底是音频编码格式还是音频封装格式？
MPEG是活动图像专家组(Moving Picture Experts Group)的缩写，于1988年成立。目前MPEG已颁布了三个活动图像及声音编码的正式国际标准，分别称为MPEG-1、MPEG-2和MPEG-4，而MPEG-7和MPEG-21都在研究中。
直到现在，仍然不存在一项旨在网页上显示视频的标准。 目前，大多数视频是通过插件（比如 Flash）来显示的。然而，并非所有浏览器都拥有同样的插件。 HTML5 规定了一种通过 video 元素来包含视频的标准方法。 当前HTML5只支持三种格式的视频。
蓝牙耳机设备在工作时，前端会先依托 PCM 将音频信号先量化成数字信号，接着按照不同的蓝牙音频编码压缩打包数据，再调制到特定的频率上发射。接收端（耳机）先解调恢复基带数字信号，接着读取其中的音频数据，然后恢复成音频信号，进而放大后驱动耳机。
以我们电脑保存的电影说起，其实它就是通过摄像机和话筒对音视频采集、编码、封装之后的数据。当我们使用播放器进行观看的时候就是进行逆向过程解封装，解码音视频，然后把音频视频数据分别发送到我们的显示器和音响（音视频同步）。互联网的发展让在线视频的播放更加普及，因此视频的在线传输则需要用到相关的流媒体协议（rtmp协议，rtsp协议）。
音视频编码技术在音视频领域有着举足轻重的地位，这是由于音视频原始数据量较大，在传输的过程中如果不进行编码的话，则无法进行传输。比方说，一张普通的图片的大小大概是1-2M，假设我们传输的帧率是30帧，则相当于一秒钟三十张2M的图片，那这个传输量是不得了的。所以此时我们就要引入视频编码技术进行压缩处理，目前常见的视频压缩技术有H264/H265两种压缩技术(这方面我们后面再慢慢介绍)，音频编码技术是AAC，这两种压缩格式可以使得每一帧数据的大小能够压缩100-200倍，这使得传输效率大大提高。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
