对超过4,238种不同Android手机型号/版本进行了音频延迟测试，数据表明Android在音频延迟问题上得到了很大改进，但随着当前媒体技术的发展，Android的这些优化还远远不够。迄今为止，Android N在音频延迟方面有任何改进，音频的延迟问题仍然制约着Android音频应用的发展。
Android 直播推流流程 : 手机采集视频 / 音频数据 , 视频数据使用 H.264 编码 , 音频数据使用 AAC 编码 , 最后将音视频数据都打包到 RTMP 数据包中 , 使用 RTMP 协议上传到 RTMP 服务器中 ;
在 JavaScript 中，我们经常需要处理大量的数据，包括从后端获取的数据、用户输入的数据等等。而在处理这些数据的时候，我们经常需要对数据进行排序、筛选、分组等操作。这时候，DataView 对象就成为了我们的得力助手。本文将详细介绍 DataView 对象的使用方法，并给出具体的实例。
现在已经可以capture到话筒的声音到wav文件了。 正在准备把捕捉到的流直接播放。用多线程，死机了2次。API很不熟悉。
先来认识一下头文件 AudioConverter.h: 音频转换接口。定义用于创建和使用音频转换器的接口 AudioFile.h: 定义一个用于读取和写入文件中的音频数据的接口。 AudioFileStream.h: 定义了一个用于解析音频文件流的接口。 AudioFormat.h: 定义用于分配和读取音频文件中的音频格式元数据的接口。 AudioQueue.h: 定义播放和录制音频的接口。 AudioServices.h: 定义三个接口。系统健全的服务让你播放简短的声音和警报。音频硬件服务提供了一个轻量级的接口，用于与音频硬件交互。音频会议服务，让iPhone和iPod触摸应用管理音频会议。 AudioToolbox.h: 顶层包括音频工具箱框架的文件。 AuGraph.h：定义用于创建和使用音频处理图形界面。 ExtendedAudioFile.h: 定义用于将音频数据从文件直接转化为线性PCM接口，反之亦然。
在使用FFmpeg进行音视频编解码时，我们经常会遇到各种错误和异常情况。其中，一个常见的错误是avcodec_receive_packet返回AVERROR(EAGAIN)。本篇博客将围绕这个错误展开讨论，并提供解决方案。
16年壮观的直播百团大战相信大家历历在目，至19年初所剩无几的直播寡头，来去如风的直播战场，离不开背后强大的直播技术支撑，本文通过直播基础技术介绍、剖析企鹅电竞直播构架、关键技术、常见问题排查、带领大家了解直播技术细节。 直播基础技术扫盲 分辨率 分辨率是度量位图图像内数据量多少的一个参数。通常表示成每英寸像素（Pixel per inch, ppi）和每英寸点（Dot per inch, dpi），包含的数据越多，图形文件的长度就越大，也能表现更丰富的细节。但更大的文件需要耗用更多的计算机资源，更多的内
创建 AAudio 音频流 , 需要先创建 AAudio 音频流构建器 , 然后在通过该构建器创建音频流 ;
// 编者按：随着互联网的发展、流量咨询费用的下降，直播互动越来越多的呈现在大众面前。直播带货、游戏主播，亦或者是大型网课，在直播中良好的网络环境与低延时是优质交互体验的关键。在这个各家云服务厂商标准不统一的年代，如何让低延时直播更加便捷稳定呢？本次LiveVideoStackCon 2022音视频技术大会上海站邀请到了毕伟老师为我们介绍网易云信的解决方案。 文/毕伟 整理/LiveVideoStack 大家下午好！我是网易云信资深音视频引擎研发工程师毕伟，今天为大家介绍云信开源低延时播放器的相关
Zoom 是一个视频会议平台，在整个大流行期间广受欢迎。与我调查过的其他视频会议系统不同，一个用户发起呼叫，其他用户必须立即接受或拒绝，Zoom 呼叫通常是提前安排好的，并通过电子邮件邀请加入。过去，我没有优先审查 Zoom，因为我认为任何针对 Zoom 客户端的攻击都需要用户多次点击。然而，最近在 Pwn2Own 上披露了针对 Windows Zoom 客户端的零点击攻击 ，表明它确实具有完全远程的攻击面。以下帖子详细介绍了我对 Zoom 的调查。
https://engineering.linkedin.com/blog/2019/litr-a-lightweight-video-audio-transcoder-for-android
原文：https://engineering.linkedin.com/blog/2019/litr-a-lightweight-video-audio-transcoder-for-android
1 . 普通线程操作 : 从普通线程中读写 AAudio 音频流的 音频数据 , 普通线程的优先级比较低 , 容易被抢占 , 或者遇到资源抖动 , 对需要连续性能的音频流操作造成干扰 , 出现卡顿 电流 等情况 ;
iOS/Android 客户端开发同学如果想要开始学习音视频开发，最丝滑的方式是对音视频基础概念知识有一定了解后，再借助 本地平台的音视频能力上手去实践音视频的采集 → 编码 → 封装 → 解封装 → 解码 → 渲染过程，并借助音视频工具来分析和理解对应的音视频数据。
Internet 协议集支持一个无连接的传输协议，该协议称为用户数据报协议（UDP，User Datagram Protocol）。与TCP协议不同，UDP 为应用程序提供了一种无需建立连接就可以发送封装的 IP 数据包的方法。在发送数据前，需要进行封包操作（使用 DatagramPacket 类），才能发送和接收数据（使用 DatagramSocket 类）。
今天我们将谈论最近的一个低延迟直播的作品。一个有趣的事实是，在 1969 年，一个来自月球表面的直播被数亿人观看，他们的延迟大约是 3 秒，50 年后，超级碗也有数百万的流媒体播放，但在这种情况下延迟超过 45 秒。然而，在过去几年中，低延迟在实施和标准化方面取得了很多进展，因此我们的处境要比几年前好得多。低延迟的主要驱动因素之一就是现场体育赛事。
Netflix的应用程序可以在数百台智能电视、电视棒和付费电视机顶盒上运行。Netflix的合作工程师的角色是帮助设备制造商在他们的设备上启动Netflix应用程序。在这篇文章中，我们将讨论一个特别困难的问题，它影响了一款设备在欧洲的正常发布。
大家有没有听过音叉发出的声音？音叉振动产生的声波很接近正弦波。计算机合成的纯正正弦波，点击下面的音频即可试听。下面是频率为 100 HZ 的音频。
最近公司要求提供一个支持 Android 硬件转码的底层库，所以自己从头去看了 MediaCodec 相关的知识，费了老大的劲终于完成了。
每帧采样数 : 该值就是通道数 , 如果是单声道 , 每帧只有一个采样 , 如果是 双声道立体声 , 每帧有 2 个采样 ;
直播推流端是整个直播内容的生产源头。我们熟知的推流工具有：PC 推流工具 OBS、手持设备和各个直播平台的手机推流 App、针对一些复杂场景有更专业的导播台硬件等等。虽然工具众多，但推流端的整个工作流程还是比较固定的：
文来自Haivision的白皮书，比较了RTMP和SRT两种流媒体协议的优缺点，并通过实验测试了两种协议在延迟和最大带宽两方面的表现。
本次分享主要是将JNI层的声音采集，传输以及播放过程做相应介绍，若是大家有更好的优化建议，欢迎指教。
在计算机内存中，缓冲区（Buffer）是一块连续的内存空间，用于临时存储数据。缓冲区可以保存各种类型的数据，例如字符串、图像、音频等。在 Node.js 中，Buffer 是一个全局对象，用于处理二进制数据。
① FFMPEG 初始化 : 参考博客 【Android FFMPEG 开发】FFMPEG 初始化 ( 网络初始化 | 打开音视频 | 查找音视频流 )
在 【Android 高性能音频】Oboe 开发流程 ( 导入 Oboe 库 | 使用预构建的二进制库和头文件 | 编译 Oboe 源码 ) 博客中介绍了 如何导入 Oboe 函数库到项目中 , 本博客中在导入 Oboe 函数库的基础上 , 进行 Oboe 播放器功能开发 ;
小编所在的语音SDK项目，提供的是AI服务，录音是基础，识别是品质。录音方式选择，录音参数设置，录音策略的制定（如解决首字吞字问题），录音架构选择，对识别都有着重要影响。
在python语言中，通过文件、摄像头获取数据，并不是什么难事。但对于浏览器来说，出于安全的考虑，并不能直接访问本地文件，至于访问摄像头、麦克风这样的硬件设备，只是从HTML5才开始得到支持。本文就如果获取数据展开讨论，看看在浏览器中提取数据有哪些方法。
1 . 分散 Scattering 对应缓冲区写入 : 通道 ( Channel ) 向 缓冲区数组 中写出数据 , 按照索引从第 0 个缓冲区 ( Buffer ) 开始, 依次写入数据 ;
将 PCM 音频采样编码成 AAC 格式 , 需要使用 FAAC编码器 , 在上一篇博客 【Android RTMP】音频数据采集编码 ( 音频数据采集编码 | AAC 高级音频编码 | FAAC 编码器 | Ubuntu 交叉编译 FAAC 编码器 ) 中完成了对 FAAC 音频编码器的交叉编译 , 交叉编译结果如下 :
① NIO 概念 : NIO 全称为 Non-Blocking IO , 是非阻塞 IO , 与 BIO ( Blocking IO / 阻塞 IO ) 相对应 ;
对于输入缓冲区，Redis客户端会将接收到的数据存储在其中，然后使用解析器来解析这些数据。
◼ SDL_Window 代表了一个“窗口”，即我们所看到的窗口界面。可以通过调用 SDL_CreateWindow() 函数来创建窗口。
SDL将功能分成下列数个子系统（subsystem）： ◼ SDL_INIT_TIMER：定时器 ◼ SDL_INIT_AUDIO：音频 ◼ SDL_INIT_VIDEO：视频 ◼ SDL_INIT_JOYSTICK：摇杆 ◼ SDL_INIT_HAPTIC：触摸屏 ◼ SDL_INIT_GAMECONTROLLER：游戏控制器 ◼ SDL_INIT_EVENTS：事件 ◼ SDL_INIT_EVERYTHING：包含上述所有选项
1 . AAudio 音频流内部缓冲区本质 : 该缓冲区是在音频设备中进行维护的 , AAudio 音频流会先将数据传入该缓冲区 , 然后才进行播放 ;
Nim 编程语言是一个新型的静态类型、命令式编程语言，支持过程式、函数式、面向对象和泛型编程风格而保持简单和高效。Nim 从Lisp继承来的一个特殊特性--抽象语法树(AST)作为语言规范的一部分，可以用作创建领域特定语言的强大宏系统。
最近工作比较忙，很久没有更新这个系列的文章。我们先回顾一下上一篇MediaCodec进行AAC编解码（文件格式转换）的内容，里面介绍了MediaExtractor的使用，MediaCodec进行音频文件的解码和编码，ADTS的介绍和封装。今天这篇文章在此基础上跟大家一起学习如何通过Android设备进行音频的采集，然后使用MediaCodec进行AAC编码，最后输出到文件。这部分我们关注的重点就是在如何进行音频的采集。 项目代码github对应的代码版本v1.7。大家一定要注意下载对应的代码版本调试。
CMCD(Common Media Client Data) 是由 CTA WAVE(Web Application Video Ecosystem) 创立的项目，并得到了 Apple、Hulu、Dolby 等组织的支持。并在 2020 年 9 月发布。
这是因为当时没有其他方法可以在浏览器上流式传输视频。作为用户，您可以选择安装Flash或Silverlight之类的第三方插件，还是根本无法播放任何视频。
SRT（Secure Reliable Transport）是新一代低延迟视频传输协议，是一种开源、免费和应用灵活的规范，它的性能与专用的协议一样优秀，同时能够在不同制造商生产的产品之间工作。本文主要参考Haivision的SRT白皮书，概述了SRT的一些关键特性，并将SRT与常见传输格式及新一代传输协议QUIC进行比较，最后简述SRT的发展现状。
视频播放时的画面打开速度是播放体验中一个非常重要的指标，如果视频画面打开速度太慢，用户失去耐心可能就直接划走不看了。如果视频速度打开够快，甚至可以带来业务上的收益，字节跳动就曾给出过一份数据：对一部分型号的 Android 手机，播放首帧时长从平均 170ms 优化到 100ms，带来了 0.6% 左右的用户播放时长提升。
互联网行业： 在分布式系统中，各个节点之间需要远程服务调用，高性能的 RPC 框架必不可少，Netty 作为异步高性能的通信框架，往往作为基础通信组件被这些 RPC 框架使用。典型的应用有：阿里分布式服务框架 Dubbo 的 RPC 框架使用 Dubbo 协议进行节点间通信，Dubbo 协议默认使用 Netty 作为基础通信组件，用于实现各进程节点之间的内部通信。
随着互联网的发展，传统安防行业已不再满足于仅仅通过一台PC机器，或者一台NVR接入摄像机源进行录像和监控的基本要求，人们迫切的需要利用目前相当便利的网络环境，以便能实现随时随地的观看到适应各种网络环境和各种终端设备的低延时的音视频视频监控，录像取证和应急处理，而不再受到时间和地域的限制。同样，对于互联网服务，PC电脑也不再是唯一选择，智能手机、平板电脑、特定的移动终端等都是可选择的用户终端硬件方式；因此，我们需要一款能将安防协议，电视广播协议以及其他各种格式的流媒体协议接入到互联网上来，通过一种统一格式的协议进行多平台多终端直播。
《Redis设计与实现》读书笔记（十九） ——Redis客户端创建关闭及客户端总结 （原创内容，转载请注明来源，谢谢） 一、客户端的创建于关闭 1、普通客户端连接 普通的客户端，通过connect
对于每个与服务器进行连接的客户端，服务器都为这些客户端建立了相应的 redis.h/redisClient结构（客户端状态），这个结构保存了客户端当前的状态信息，以及执行相关功能时需要用到的数据结构，其中包括：
② Oboe 发布版本下载界面 : release 版本下载 , 这里我下载的是 1.4.3 版本 ; 下载 Source code ( zip ) 即可 ;
如果用redis的服务器进程来进行重写，就会影响redis整体的性能; 那么redis实现的方式是 AOF后台重写
随着移动终端的普及和网络的提速，以短视频为媒介的内容成了大家普遍接受和喜欢的内容消费形式。但是短视频是如何从一个视频地址到我们能看见的音视频内容呢？我们都知道播放器就是用来完成视频从地址解析到视频渲染这个流程的集合。那在我们Android平台上播放器的发展和演进过程中，有哪些实现方式？他们背后都有些什么优缺点呢？对于一个内容消费者来说，在浏览短视频的过程中，哪些性能指标是影响用户体验的呢？技术人员对于这些性能指标有哪些可做的优化？以及在快速的版本迭代中如何保证海量用户的播放体验呢？带着这些问题，本文尝试从
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
