随着多媒体产业的发展，手机端对视频解码性能要求越来越高。如果采用cpu进行解码，则会占用很多cpu资源。现在主流做法是利用手机gpu资源进行视频解码。
本文将利用 FFmpeg 对一个 Mp4 文件的视频流进行解码，然后使用 libswscale 将解码后的 YUV 帧转换为 RGBA 帧，最后使用 ANativeWindow 进行渲染。
直播行业如火如荼的加速前进，一对一直播系统开发开发紧跟着脚步加速前进，你知道一对一直播系统开发开发应当具备哪些条件吗？
好多开发者聊到GB28181的时候，不可避免的提到H.265编码国标平台是否支持？实际上，GB/T28181-2016里面，并未提及H.265编解码相关，具体参见以下说明：
上一篇文章FFmpeg 开发(01)：FFmpeg 编译和集成 实现了 FFmpeg 的编译和集成。
IDO-SOM3022-V1.0 适用于工业主机，物联网设备，医疗健康设备， 广告一体机，互动自助终端，教学实验平台，显示控制，车载安防等多个领域 。
前面 FFmpeg 系列的文章中，已经实现了 FFmpeg 的编译和集成，基于 FFmpeg 实现音视频的播放、录制，并结合 OpenGL 添加丰富的滤镜等功能，这些 demo 基本上将 FFmpeg 使用涉及到的知识点基本上覆盖了。
播放一个音视频文件的时候，我们知道需要经过解协议->解封装->解码音频/视频->音频/视频同步->渲染播放这几个步骤，其中解码音频/视频是整个流程中最核心的一个环节.每个步骤的详细解释可以参考上篇文章Android中如何使用OpenGL播放视频 Android平台下解码音视频可以采用软件解码如ffmpeg，或使用硬件解码如MediaCodec来实现软件解码：利用CPU进行解码处理，这种方式会加大CPU负担并增加功耗，它的优点则是具有更强的适配性；硬件解码：调用GPU的专门解码音视频的模块来处理，减少CPU运算，降低功耗．由于Android机型碎片化比较严重，硬件解码的实现又依赖于具体的厂商，所以硬件解码的适配性并不是那么友好一般而言，在Android设备支持硬解的情况下优先使用Android设备的硬件解码，减少CPU占用，降低功耗；在硬解不支持的情况下选择使用软解码，至少让音视频能正常播放. 软硬结合，才是王道->_-> 当然，本篇文章所描述的是使用硬件解码MediaCodec的方式来解码一个视频文件. MediaCodec简介 android.media.MediaCodec是从API16开始由Android提供的供开发者能更加灵活的处理音视频的编解码组件，与MediaPlayer/MediaRecorder等high-level组件相比，MediaCodec能让开发者直接处理具体的音视频数据，所以它是low-level API它通常与MediaExtractor, MediaSync, MediaMuxer, MediaCrypto, MediaDrm, Image, Surface和AudioTrack一起使用. 基本架构
本文主要讲一下笔者计划在音视频方向的学习路线计划，主要以Android开发为例，让我们一起进步。
iOS/Android 客户端开发同学如果想要开始学习音视频开发，最丝滑的方式是对音视频基础概念知识有一定了解后，再借助 iOS/Android 平台的音视频能力上手去实践音视频的采集 → 编码 → 封装 → 解封装 → 解码 → 渲染过程，并借助音视频工具来分析和理解对应的音视频数据。
本文很长，因为可能有比较多的小伙伴对 JNI C/C++ 不是很熟悉，所以本文比较详细的对 FFmpeg 用到的代码进行讲解，完整的演示了一遍 FFmpeg 的解码和渲染过程，并且对解码过程进行了封装。
ChatGPT 技术最近有多火就不用再介绍了吧，连超级大佬都说了 ChatGPT 这是几百年不遇的、类似发明电的工业革命一样的机遇。
在上一篇文章定义的解码流程框架基类中，预留了几个虚函数，留给子类初始化自己的东西，本篇，就来看看如何实现。
有位大佬说，“这是全网最全的 Android OpenGL ES 教程”，哈哈，对于这种善意的“商业互吹”，当然是欣然接受，这无疑给了我更多的动力和激情来完善这几个系列的文章。
本文将利用 FFmpeg+ MediaCodec 做一个播放器，实现视频的硬解码和音视频同步等功能。
迅为3399开发板基于瑞芯微的RK3399处理器设计，Rockchip RK3399是瑞芯微推出的一款低功耗、高性能的应用处理器芯片，该芯片基于Big.Little架构,即具有独立的NEON协同处理器的双核Cortex-A72及四核Cortex-A53组合架构，主要应用于计算机、个人互联网移动设备、VR、广告机等智能终端设备。RK3399内置多个高性能硬件处理引擎，能够支持多种格式的视频解码，如：4K*2K@60fps 的H.264/H.265/VP9，也支持1080P@30fps的H.264/MVC/VP8 以及高质量的JPEG编解码和图像的前后处理器
在做了充分的准备后，我信心满满的向着 H265 8K 视频解码这个目标发起进攻，然而，正打算动手的时候，我突然发现，别说支持 H265 ，自编的 Chromium WebView 连 H264 解码都不支持。使用 WebView Shell 访问测试页面，结果如下：
1、 StageFright介绍 Android froyo版本号多媒体引擎做了变动，新加入�了stagefright框架，而且默认情况android选择stagefright，并没有全然抛弃opencore，主要是做了一个OMX层，不过对 opencore的omx-component部分做了引用。stagefright是在MediaPlayerService这一层加入的，和opencore是并列的。Stagefright在 Android中是以shared library的形式存在(libstagefright.so)，当中的module — AwesomePlayer可用来播放video/audio。 AwesomePlayer提供很多API，能够让上层的应用程序(Java/JNI)来调用。
在前面的Android FFmpeg系列03--视频解码与渲染一文中，我们了解了FFmpeg的解码API和整个解码流程，本文通过一个小案例来了解下FFmpeg中的编码API和整个编码流程
PAG 4.1 版本新增支持微信小程序，新增支持多个常用 AE 特性，如图层样式-渐变叠加、蒙版-羽化和不透明度、 亮度轨道遮罩/亮度轨道反转遮罩等。经过 2 个多月 6 个版本的迭代，PAG 4.1 版本已经趋于稳定，目前广泛应用于 QQ、小红书等头部 APP，现正式发布，欢迎大家接入使用。 4.1 版本主要修改内容 平台支持 新增支持微信小程序，目前 PAG SDK 已完成覆盖 iOS、Android、macOS、Windows、Linux、Web 和微信小程序等常用平台。 AE 特性新增支持
Android MediaCodec 解码一般有两种方式：MediaCodec ByteBuffer（MCBB）、MediaCodec Surface（MCS）。
距离今年的五一长假只有几个小时了，一般重大节日也是项目的里程碑（milestone）节点，我也赶在五一长假之前完成了中国标准 AVS2 和 AVS3 在 Chromium 浏览器上的支持工作。
本文分为两个部分进行讲解 Codec 部分中的 AwesomePlayer 到 OMX 服务 前面介绍了NuPlayer最终解码都会到达OMX框架，也就是 OpenMAX框架，本文开始分析编解码部分中的AwesomePlayer到OMX服务过程，也就是开启OpenMAX准备相关内容。Android系统中用OpenMAX来做编解码，Android向上抽象了一 层OMXCodec,提供给上层播放器AwesomePlayer使用。同时有一个IOMX接口，在ACodec 中可以通过IOMX调用OpenMAX组件。播放器中音视频解码器mVideoSource、 mAudioSource 都是 OMXCodec 的实例。 OMXCodec::Create是解码器初始化的入口。OMXCodec通过IOMX依赖Binder机制获得 OMX服务，OMX服务才是OpenMAX在Android中的实现。
播放器性能的极致优化,就是要发现播放流程中一点一滴的耗时,然后分析这些耗时,并提出有效的方式解决这些耗时.了解过ExoPlayer播放器的同学们都知道ExoPlayer的解码是依赖Android系统提供的原生的解码模块,即MediaCodec来实行视频和音频解码的.
正如最近在博客中详细讨论的那样，以视频为中心的社交活动，沉浸式娱乐，教育，远程医疗等方面的趋势使网络对实时视频丰富的个人体验的支持成为网络空间新时代的特征。从分散的劳动力投入到视频监控，再到在工程设计，建筑，培训，手术和其他方面的沉浸式协作，实时视频传输也正在成为商业生活中各种应用程序的重要组成部分。
随着互联网的发展，传统安防行业已不再满足于仅仅通过一台PC机器，或者一台NVR接入摄像机源进行录像和监控的基本要求，人们迫切的需要利用目前相当便利的网络环境，以便能实现随时随地的观看到适应各种网络环境和各种终端设备的低延时的音视频视频监控，录像取证和应急处理，而不再受到时间和地域的限制。同样，对于互联网服务，PC电脑也不再是唯一选择，智能手机、平板电脑、特定的移动终端等都是可选择的用户终端硬件方式；因此，我们需要一款能将安防协议，电视广播协议以及其他各种格式的流媒体协议接入到互联网上来，通过一种统一格式的协议进行多平台多终端直播。
时至今日，短视频App可谓是如日中天，一片兴兴向荣。随着短视频的兴起，音视频开发也越来越受到重视，但是由于音视频开发涉及知识面比较广，入门门槛相对较高，让许许多多开发者望而生畏。
Ami Fischman <fischman@chromium.org>; Status as of 2014/06/06: Up-to-date (可以得到更多的细节) 介绍 视频解码（e.g.
IDO-SOM3828 是基于瑞芯微 RK3288 SoC（ARM Cortex A17 四核 主频 1.8G）的超小 型 SOM（System On Module）模块。模块在 6 x 4.6 CM 的 PCB 面积上整合 4 片 DDR3L、 1 片 EMMC、1 个千兆以太网 PHY（RTL8211F）以及电源管理 PMIC（RK808-B）电路，拥 有强大的多线程运算能力、图形处理能力以及硬件解码能力，而且支持 Android（7.1 及以 上），Ubuntu，Debian 系统，可应用于工业控制、商业显示、广告一体机、医疗健康设 备、智能 POS、人脸识别终端、物联网、智慧城市等领域，核心板进行了严格的电源完整 性和信号完整性仿真设计，通过各项电磁兼容、温度冲击、高温高湿老化、长时间存储压 力等测试，稳定可靠。
这个公众号会路线图式的遍历分享音视频技术：音视频基础(完成) → 音视频工具(完成) → 音视频工程示例(进行中) → 音视频工业实战(准备)。关注一下成本不高，错过干货损失不小 ↓↓↓
ijkplayer 是一款比较出众的开源 Android/iOS 跨平台播放器，基于 ffplay，API 易于集成，可定制编译控制体积。
本文为FFmpeg系列的第三篇文章，主要内容为利用FFmpeg解码本地mp4文件的视频流并利用OpenGL进行上屏渲染
经过一番探索（参见Android 10 WebView 踩坑实录），终于搞定 Chromium WebView 的代码下载和编译问题，加下来就要向 H265 8K 高清播放发起冲锋。
视频系统，目前已经深入消费应用的各个方面，在汽车、机器人和工业领域日益普遍。其在非消费应用中的增长主要源于HDMI标准以及更快、更高效的DSP和FPGA的出现。
IDO-SBC3019-V1B适用于工业主机，嵌入式智能设备，智能家居， 广告一体机，互动自助终端，教学实验平台，显示控制，车载安防，收银机等多个领域 。
2016 年中国移动短视频用户数为 1.5 亿，今年预计会达到 2.4 亿，增长率高达 58.2%，可见短视频的热度在一直提升；近几年，短视频的生产模式在不断演进，从 UGC 到 PGC，再到最新的
IDO-EVB3829 智能主板，配备 RK3288 四核 Cortex-A17 处理器，主频高达1.8GHz，共享 1MB 二级缓存，双通道 64 位 DDR3/LPDDR2/LPDDR3 控制器，提供了高性能和高分辨率的应用程序所需要的内存带宽。超过 32 位的地址位,可以支持高达 8GB 存取空间。同时，芯片内嵌的新一代和强大的 GPU(Mali-T764)能顺利支持高分辨率(3840X2160)显示和主流游戏。支持 OpenVG1.1,OpenGL 的ES1.1/2.0/3.0,OpenCL1.1,RenderScript 以及 DirectX11 等,在 3D 效果方面相对同类产品有较大的提升。
像直播平台这样重视互动和实时性的应用场景，即时通讯可以从中起到很大的配合作用。所以对于直播平台搭建的技术人员来讲，音视频即时通讯技术是需要熟练掌握的。从最初的开发，到搭建，再到最后开发完成上架等并不像看起来一样简单。
音视频实时通话首帧的显示是一项重要的用户体验标准。本文主要通过对接收端的分析来了解和优化视频首帧的显示时间。
音视频编码技术在音视频领域有着举足轻重的地位，这是由于音视频原始数据量较大，在传输的过程中如果不进行编码的话，则无法进行传输。比方说，一张普通的图片的大小大概是1-2M，假设我们传输的帧率是30帧，则相当于一秒钟三十张2M的图片，那这个传输量是不得了的。所以此时我们就要引入视频编码技术进行压缩处理，目前常见的视频压缩技术有H264/H265两种压缩技术(这方面我们后面再慢慢介绍)，音频编码技术是AAC，这两种压缩格式可以使得每一帧数据的大小能够压缩100-200倍，这使得传输效率大大提高。
一直以来，GB28181-2022之前的规范版本让人诟病的一点：没有明确针对H.265的说明，特别是监控摄像机，H.265已然成为标配，GB/T28181-2022规范，终于针对H.265做了明确的说明，让我们来一起解读下规范：
每周一期，纵览音视频技术领域的干货。 新闻投稿：contribute@livevideostack.com。 ✦ 一周简讯 ✦ 首个公开工作草案：Capture Handle - 屏幕共享时的引导协作 W3C WebRTC 工作组发布 Capture Handle — 屏幕共享时的引导协作首个公开工作草案： Capture Handle - Bootstrapping、Collaboration when Screensharing。 该文档提出了一种机制，如果 CAPTR 对 APP 正在运行的标签进行
本文由融云技术团队原创投稿，作者是融云WebRTC高级工程师苏道，转载请注明出处。
本文由融云技术团队原创投稿，作者是融云WebRTC高级工程师苏道，转载请注明出处。为了更好的内容呈现，内容略有修订。
实现视频编码和解码的高效算法是一个复杂而庞大的领域，并且涉及到很多细节和技术。在Java中，我们可以利用一些库和工具来帮助我们实现视频编码和解码的功能。下面将介绍一些基本的概念和方法，以及一些常用的库和工具，以帮助您开始实现视频编码和解码的高效算法。
QtAV是基于Qt和FFmpeg的跨平台多媒体框架。高性能，对用户和开发人员友好，支持Android，iOS，Linux，Windows。 特性 硬件解码支持：DXVA2，VAAPI，VDA/VideoToolbox，CedarX，CUDA。 OpenGL和ES2支持几乎所有格式。 RGB和YUV格式的视频捕获。 OSD和自定义过滤器 libavfilter中的滤镜，例如stero3d，模糊。 字幕轨道选择。动态更改FFmpeg和libass引擎。 逐帧播放。 播放速度控制。 各种流：区域设置文件，http
直播间开发运营，已经功能的开发利用，都离不开至关重要的在线直播源码，以“抖音”“花椒直播”“斗鱼”为主的各类直播平台的崛起，视频直播行业近些年来的持续性火热，直播系统、短视频系统、语音直播互动等等的开发都会用到相关的知识，在这里简单整理一些关于视频直播系统开发的一些你需要了解的一些知识点。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
