毕业至今，之前一直从事Android开发的工作，今年5月份开始接触音视频开发相关工作，于是打算写一个音视频相关专栏，让移动端的同学，能通过这个专栏快速掌握音视频相关知识，首先带来第一篇，主要讲讲移动端的音视频技术涉及哪些？
音调与声音的频率有关系，当声音的频率越大时，人耳所感知到的音调就越高，否则就越低。
| 导语 透过本文，全面了解 Android 系统音频录制技能，深入理解王者时刻为什么没有把环境音或者人声录制下来 一、音频量化 音频基础的文章很多，想要了解更多，请自行百度。这里重点关注 PCM 和采样率，因为目前遇到的音频问题都跟这两个有关。 接下来看一张经典的音频采样流程图： 以上就是计算机系统中的音频文件的生成过程：采样、量化、编码。 人耳所能听到的声音，最低的频率是 20Hz ~ 20KHZ，因此音频文件格式的最大带宽是 20KHZ。 根据奈奎斯特的理论，只有采样频率高于声音信号最高频率的
音视频的发展正在向各个行业不断扩展，从教育的远程授课，交通的人脸识别，医疗的远程就医等等，音视频方向已经占据一个相当重要的位置，而音视频真正入门的文章又少之甚少，一个刚毕业小白可能很难切入理解,因为音视频中涉及大量理论知识,而代码的书写需要结合这些理论,所以搞懂音视频,编解码等理论知识至关重要.本人也是从实习开始接触音视频项目,看过很多人的文章，在这里总结一个通俗易懂的文章，让更多准备学习音视频的同学更快入门。
现如今的社交平台中，语音聊天室仍然占据着一席之地，例如语音电台，主播可以在直播间中与给听众讲故事、唱歌，观众也可以申请上麦，与主播聊天互动。主要实现的功能就是语音连麦，之前讲过很多直播源码平台的开发和功能，本篇我们来讲下语音聊天源码平台的开发逻辑是怎么样的。
Android音视频编码分为软编和硬编两种。所谓的硬编是用设备GPU去实现编解码，从而减轻CPU的压力，让程序更加的健壮，自然而然你就知道了软编其实就是让CPU编码（其实是在c层通过c/c++进行编码，之所以这样是因为c/c++平台上已经有很多比较好的音视频编解码库。比如著名ffmpeg,搞过音视频的相信对这个库绝对不会陌生）。那么或许你心目中有一个小小的疑问？为什么要编解码了？原因就是让数据更小便于传输。编解码就好比是压缩与解压！本文是把PCM数据硬编成ACC格式数据。如果对音频的采集不熟悉，请查阅Android 音频采集。
文章的标题已经表明了，我想提一个简单的问题，播放视频的时候我觉得视频的声音太大或者太小了，我想调整一下声音，怎么办？
随着互联网用户消费内容和交互方式的升级，支撑这些内容和交互方式的基础设施也正在悄悄发生变革。手机设备拍摄视频能力和网络的升级催生了大家对视频直播领域的关注，吸引了很多互联网创业者或者成熟企业进入该领域。
功能强大，几乎所有你想要的场景它都有，用起来很顺手。可以将桌面、摄像头、程序窗口通过rtmp推送到流媒体服务器上。
Android 直播推流流程 : 手机采集视频 / 音频数据 , 视频数据使用 H.264 编码 , 音频数据使用 AAC 编码 , 最后将音视频数据都打包到 RTMP 数据包中 , 使用 RTMP 协议上传到 RTMP 服务器中 ;
最近公司要求提供一个支持 Android 硬件转码的底层库，所以自己从头去看了 MediaCodec 相关的知识，费了老大的劲终于完成了。
时至今日，短视频App可谓是如日中天，一片兴兴向荣。随着短视频的兴起，音视频开发也越来越受到重视，但是由于音视频开发涉及知识面比较广，入门门槛相对较高，让许许多多开发者望而生畏。
上篇文章介绍了VideoEditor开发中需要用到的三方库，本文我们继续回到相机录制的主题上。相机录制的过程除了采集画面，还有采集音频数据的过程，我们今天就主要介绍一下声音采集的过程以及采集的声音是怎么处理的。
视频的采集涉及两方面数据的采集：音频采集和图像采集，它们分别对应两种完全不同的输入源和数据格式。
直播间搭建的成功离不开基本的流媒体传输，随着网络技术的不断提高，对音视频传输的质量与速度要求也不断提高，想做好一套直播系统，推流与拉流的详细过程原理你都知道吗？
摄像机和拾音器收集视频及音频数据，涉及技术摄像机为CCD、CMOS，拾音器为声电转换装置、音频放大电路
原生开发是指在Android、IOS 等移动平台上利用官方提供的开发语言、开发类库、开发工具进行APP开发。
不知道大家小时候是否玩过一种动画小人书，连续翻动的时候，小人书的画面就会变成一个动画，类似现在的gif格式图片。
最近有个需求：对音频裁剪时，裁剪条的纵坐标必须是音频音量，以帮助用户更好的选择音频区域，所以就需要快速准确的提取出音频的音量列表。本文主要介绍下从mp4文件中提取音轨音量的方式，以及相关的知识点。
本人的交叉编译平台是ubuntu 64bit，编译成动态库，然后让APP通过JNI来调用，跟其他程序的编译方式差不多。当然，首先需要系统内布置好NDK编译环境。Google提供了完整的编译工具链，也包括SDK，下载地址在这里：“NDK Downloads”。我在之前的一篇文章里也写了这部分，可以参考一下："NDK开发Android端RTMP直播推流程序"。
本文目的：使用 AudioRecord 和 AudioTrack 完成音频PCM数据的采集和播放，并读写音频wav文件
耽误了很久，一直想写音视频开发的教程，一方面，音视频的发展正在向各个行业扩展，从教育的远程授课，交通的人脸识别，医疗的远程就医等，音视频方向已经占据一个相当重要的位置，而音视频真正入门的文章又少之甚少，一个刚毕业小白可能很难切入理解,因为音视频中涉及大量理论知识,而代码的书写需要结合这些理论,所以搞懂音视频,编解码等理论知识至关重要。另一方面，公司的业务也在逐渐向音视频靠拢，我需要先将积累的知识点重新梳理后分享给其他同学。
JavaCV（Java interface to OpenCV, FFmpeg, and more）
正常播放器会没法识别播放（因为不知道声道数，采样率等信息）。一般要这样做：正常需要在编码每帧数据后，结合编码后的数据生成 ADTS 头，然后将 ADTS 头 + 编码后的数据 整体写入文件，循环往复，才能生成可正常播放的 .aac 文件（当然也可以是：1 个 ADTS + 多帧编码数据 这样的组合）。
在 【Android 高性能音频】Oboe 开发流程 ( 导入 Oboe 库 | 使用预构建的二进制库和头文件 | 编译 Oboe 源码 ) 博客中介绍了 如何导入 Oboe 函数库到项目中 , 本博客中在导入 Oboe 函数库的基础上 , 进行 Oboe 播放器功能开发 ;
直播行业如火如荼的加速前进，一对一直播系统开发开发紧跟着脚步加速前进，你知道一对一直播系统开发开发应当具备哪些条件吗？
小编所在的语音SDK项目，提供的是AI服务，录音是基础，识别是品质。录音方式选择，录音参数设置，录音策略的制定（如解决首字吞字问题），录音架构选择，对识别都有着重要影响。
本文属于Android局域网内的语音对讲项目（https://github.com/yhthu/intercom）系列，《通过UDP广播实现Android局域网Peer Discovering》（http://www.jianshu.com/p/cc62e070a6d2）实现了局域网内的广播及多播通信，本文将重点说明系统架构，音频信号的实时录制、播放及编解码相关技术。 本文主要包含以下内容： 1、AudioRecord、AudioTrack 2、Speex编解码 3、Android语音对讲系统架构 01 A
1、 StageFright介绍 Android froyo版本号多媒体引擎做了变动，新加入�了stagefright框架，而且默认情况android选择stagefright，并没有全然抛弃opencore，主要是做了一个OMX层，不过对 opencore的omx-component部分做了引用。stagefright是在MediaPlayerService这一层加入的，和opencore是并列的。Stagefright在 Android中是以shared library的形式存在(libstagefright.so)，当中的module — AwesomePlayer可用来播放video/audio。 AwesomePlayer提供很多API，能够让上层的应用程序(Java/JNI)来调用。
① 视频数据回顾 : 手机使用 Camera 采集 NV21 格式的图像数据 , x264 编码库将图像数据编码成 H.264 格式的视频数据 ;
软编（解）的时候CPU负载重，性能比硬编（解）低，但是通用性更好；硬编（解）性能高但是兼容性问题比较突出，特别是在Android平台，碎片化严重，MediaCodec的坑也是不少
腾讯云实时音视频（TRTC）接入实时语音识别，主要是将TRTC中的音频数据传递到语音识别的音频数据源中进行实时识别。本篇讲述如何对TRTC本地和远端的音频流进行实时识别。
Netflix的应用程序可以在数百台智能电视、电视棒和付费电视机顶盒上运行。Netflix的合作工程师的角色是帮助设备制造商在他们的设备上启动Netflix应用程序。在这篇文章中，我们将讨论一个特别困难的问题，它影响了一款设备在欧洲的正常发布。
本文实例讲述了Android编程设计模式之中介者模式。分享给大家供大家参考，具体如下：
其实老早就想写一些关于音视频学习的文章了，但由于各方面的原因迟迟都没有开始。一个方面是因为笔者写文章都是成系统的，音视频需要大家有一定的 c/c++ 基础；还有一个方面是因为之前经验不足，这一块涉及到的细节也比较多。我自己学习时看过大量的文章和资料，这里推荐 雷霄骅的专栏 ，虽然文章的更新永远停在了那一刻，但其无私分享的精神值得我们每一个开发者学习。音视频这系列文章我们打算从基础开始学，然后结合移动端 NDK 来开发。因此如果你已经是音视频开发的老司机，那么本文可能不太适合你，其次如果之前没了解过 NDK 开发，学习起来也可能会有些难度。
今天我们学习音频的采集、编码、生成文件、转码等操作，我们生成三种格式的文件格式，pcm、wav、aac 三种格式，并且我们用 AudioStack 来播放音频，最后我们播放这个音频。
在音视频处理中，经常会遇到一些错误和异常情况。其中之一就是"Invalid packet stream index"错误。本文将详细解释这个错误的含义、可能的原因以及如何解决它。
上篇已详细解读了TWS蓝牙耳机游戏时延的测试方法，那么如何衡量游戏时延的好与坏？以及游戏时延该如何优化呢？本篇章将重点解读蓝牙耳机游戏时延的评测标准和绿盟各成员给出的一些优化建议。
以我们电脑保存的电影说起，其实它就是通过摄像机和话筒对音视频采集、编码、封装之后的数据。当我们使用播放器进行观看的时候就是进行逆向过程解封装，解码音视频，然后把音频视频数据分别发送到我们的显示器和音响（音视频同步）。互联网的发展让在线视频的播放更加普及，因此视频的在线传输则需要用到相关的流媒体协议（rtmp协议，rtsp协议）。
Android常用的录音工具有两种，分别是MediaRecorder和AudioRecord，前者用于录制普通音频，后者用于录制原始音频。然而无论是普通音频的amr和aac格式，还是原始音频的pcm格式，都不能在电脑上直接播放，也不能在苹果手机上播放，因为它们属于安卓手机的定制格式，并非通用的音频格式。若想让录音文件放之四海而皆能播放，就得事先将其转为通用的MP3格式，虽然Android官方的开发包不支持MP3转换，不过借助第三方的LAME库，能够将原始音频转存为MP3文件。 LAME是一个高质量的MP3编码器，它采用C/C++代码开发，需要通过JNI技术引入到App工程。LAME源码的下载页面为https://lame.sourceforge.io/download.php，笔者找到的最新版本是3.100，先解压下载完成的源码包，再按照下列步骤依次调整源码细节： 1、把源码包里面的libmp3lame目录整个复制到App模块的jni目录下； 2、把include目录下的lame.h头文件复制到jni\libmp3lame目录下； 3、打开jni\libmp3lame下面的set_get.h，把这行代码
Apple 平台上如果涉及到音频采集, 很难避开 AudioUnit 这个工具库, AudioUnit 是 Audio Toolbox 下的一套有年头的 C API, 功能相对也比较强大, 虽然苹果最近几年推出并逐渐在其基础之后完善了一套 AVAudioUnit 的 OC/Swift 的 API, 但 AudioUnit 依然有很广泛的使用, 而且了解这套 C API 也对理解 AVAudioUnit 内部的实现和使用有很大的帮助.
理解编写程序开发的功能文档是一件容易的事，毕竟市场上有用那么多的优秀的程序可以借鉴。但是想要把一些直播程序功能实现的的门槛很高。用代码实现功能是一个十分困难的任务。一套优秀的程序，需要极强的使用上便利性，还有优秀的UI交互逻辑，完善的功能和便于理解操作逻辑；简洁优美的界面设计......
为了更好的理解Android音频延迟产生的原因，最好将总的环路延迟分为以下两个部分：
好多开发者纠结，到底使用GB28181还是RTSP，这里简单的谈下二者使用场景区别，GB28181和RTSP（Real-Time Streaming Protocol）是用于视频监控和流媒体传输的两种不同的协议。
近期技术人员从宇视官网下载sdk进行二次开发时，在启动实时直播，并通过回调函数拿到流数据，发现没有音频流数据。
云直播CSS 你问我答 第9季 本期共解答10个问题 Q1：为什么云直播控制台配置了一种录制格式，但却录制了两种不同格式的录制文件？ 首先通过查询录制任务列表接口确定是否在同时间创建了录制任务进行录制； 确定是否是TRTC旁路到云直播CDN的流，如果是，并登录TRTC控制台，在应用管理中找到你正在使用的应用，查看是否开启了云端录制，关闭云端录制。 Q2：为什么网络正常，推流上行码率依然不稳定，导致播放卡顿？ 在推流端去ping 推流域名地址，通过返回的节点IP查询是否附
视频播放主要经历这么几个步骤：解协议 -> 解封装 -> 解码音视频 -> 音视频同步，流程如下图：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
