说到Android的视频硬编码，很多新人首先会想到MediaRecorder，这可以说是Android早期版本视频硬编码的唯一选择。这个类的使用很简单，只需要给定一个Surface（输入）和一个File（输出），它就给你生成一个标准的mp4文件。 但越是简单的东西便意味着越难以控制，MediaRecorder的缺点很明显。相信很多人在接触到断点视频录制这个需求的时候，首先会想到使用MediaRecorder，很遗憾，这个东西并不能给你很多期待，就像一开始的我一样。 首先，MediaRecorder并没有断点录制的API，当然你可以使用一些“小技巧”，每次录制的时候，都把MediaRecorder stop掉，然后再次初始化，这样就会生成一系列的视频，最后把它们拼接起来。然而问题在于，每次初始化MediaRecorder都需要消耗很长时间，这意味着，当用户快速点击录制按钮的时候可能会出现问题。对于这个问题，你可以等到MediaRecorder初始化完成才让用户点击开始录制，但是这样往往会因为等待时间过长，导致用户体验极差。 这种情况下，一个可控的视频编码器是必须的。虽然在Android 4.4以前我们没得选择，但是在Android 4.4之后，我们有了MediaCodec，一个完全可控的视频编码器，虽然无法直接输出mp4（需要配合MediaMuxer来对音视频进行混合，最终输出mp4，或者其它封装格式）。如今的Android生态，大部分手机都已经是Android 5.0系统，完全可以使用MediaCodec来进行音视频编码的开发，而MediaRecorder则降级作为一个提高兼容性的备选方案。 废话不多说，我们直接步入正题。要想正确的使用MediaCodec，我们首先得先了解它的工作流程，关于这个，强烈大家去看一下Android文档。呃呃，相信在这个快速开发为王道的环境，没几个人会去看，所以还是在这里简单介绍一下。
https://engineering.linkedin.com/blog/2019/litr-a-lightweight-video-audio-transcoder-for-android
原文：https://engineering.linkedin.com/blog/2019/litr-a-lightweight-video-audio-transcoder-for-android
Android5.0之后开放了屏幕捕捉的API，因此开发者便可以直接通过代码进行截图与录屏，而无需操作系统底层了。屏幕捕捉的功能由MediaProjectionManager媒体投影管理器实现，该管理器的对象从系统服务MEDIA_PROJECTION_SERVICE中获得。注意MediaProjectionManager是Android5.0之后新增的工具，故代码中要补充判断系统版本，如果是4.*及以下版本，则不可处理屏幕捕捉操作。 具体的屏幕捕捉，还要调用媒体投影管理器对象的getMediaProjection方法，获取MediaProjection媒体投影对象。MediaProjection主要有两个方法，说明如下： createVirtualDisplay : 创建虚拟显示层。可分别指定显示层的名称、宽度、高度、密度、标志、渲染表面等等。其中标志通常取值DisplayManager.VIRTUAL_DISPLAY_FLAG_AUTO_MIRROR，渲染表面则按照截图和录屏两种方式分别取值。 stop : 停止投影。 屏幕捕捉的用途主要是截图和录屏，这有点像摄像头的功能，截图对应拍照，而录屏对应录像。对于拍照和录像，我们知道需要创建一个SurfaceView表面视图做为画面预览层，那么就屏幕捕捉而言，也需要创建一个虚拟显示对象做为投影预览层。这个投影预览层即前面createVirtualDisplay方法返回的VirtualDisplay对象，具体的表面对象则为createVirtualDisplay方法中的渲染表面参数，也就是一个Surface对象。如果当前为截图操作，那么调用ImageReader对象的getSurface方法获得渲染表面；如果当前为录屏操作，那么调用MediaCodec对象的createInputSurface方法获得渲染表面。
在上一章我们讲到了MediaCodec的工作流程，以及如何利用MediaCodec进行H264编码。这一章的内容同样是MediaCodec，只不过是编码音频为AAC，整个流程大同小异。 上一章我们利用MediaCodec编码视频时，使用了Surface，所以可以不直接操作输入缓冲区队列。但是编码音频的时候，由于无法使用Surface，所以需要直接操作输入缓冲区队列。 这里我们需要通过AudioRecord采集PCM数据，然后把采集到的数据送进编码器进行编码。所以首先我们要初始化一个AudioRecord对象。 要使用录音，需要申请录音权限。
这是关于渲染的系列教程的第13部分。上一部分涵盖了半透明阴影。现在我们来看一下延迟着色。
最近公司要求提供一个支持 Android 硬件转码的底层库，所以自己从头去看了 MediaCodec 相关的知识，费了老大的劲终于完成了。
在 Android 4.1 版本提供了 MediaCodec 接口来访问设备的编解码器，不同于 FFmpeg 的软件编解码，它采用的是硬件编解码能力，因此在速度上会比软解更具有优势，但是由于 Android 的碎片化问题，机型众多，版本各异，导致 MediaCodec 在机型兼容性上需要花精力去适配，并且编解码流程不可控，全交由厂商的底层硬件去实现，最终得到的视频质量不一定很理想。
MediaCodec类Android提供的用于访问低层多媒体编/解码器接口，它是Android低层多媒体架构的一部分，通常与MediaExtractor、MediaMuxer、AudioTrack结合使用，能够编解码诸如H.264、H.265、AAC、3gp等常见的音视频格式。广义而言，MediaCodec的工作原理就是处理输入数据以产生输出数据。具体来说，MediaCodec在编解码的过程中使用了一组输入/输出缓存区来同步或异步处理数据：首先，客户端向获取到的编解码器输入缓存区写入要编解码的数据并将其提交给编解码器，待编解码器处理完毕后将其转存到编码器的输出缓存区，同时收回客户端对输入缓存区的所有权；然后，客户端从获取到编解码输出缓存区读取编码好的数据进行处理，待处理完毕后编解码器收回客户端对输出缓存区的所有权。不断重复整个过程，直至编码器停止工作或者异常退出。
在顶点、曲面细分和几何着色器执行它们的操作后，图元被裁剪并设置为光栅化，如前一章所述。管线的这一部分在其处理步骤中相对固定，即不可编程但有些可配置。遍历每个三角形以确定它覆盖哪些像素。光栅化器还可以粗略计算三角形覆盖每个像素的单元格区域（第5.4.2节）。与三角形部分或完全重叠的像素区域称为片元。
MediaCodec 是Android 4.1(api 16)版本引入的编解码接口，同时支持音视频的编码和解码。
大家好，本文是 iOS/Android 音视频专题 的第四篇，从本篇文章开始我们将动手编写代码。代码工程将在 Github 进行托管。
这个公众号会路线图式的遍历分享音视频技术：音视频基础(完成) → 音视频工具(完成) → 音视频工程示例(进行中) → 音视频工业实战(准备)。关注一下成本不高，错过干货损失不小 ↓↓↓
Android MediaCodec 解码一般有两种方式：MediaCodec ByteBuffer（MCBB）、MediaCodec Surface（MCS）。
图像中物体所处位置及外形由其几何数据和摄像机的位置共同决定，物体外表是受到其材质属性、光源、纹理及着色模型所影响。
MediaCodec是Google在Android API 16之后推出的用于音视频编解码的一套偏底层的API，可以直接利用硬件以加速视频的编解码处理。MediaCodec的概念中，一般而言，编解码器处理输入数据并生成输出数据。它异步处理数据并使用一组输入和输出缓冲区。在简单的层面上，需要请求（或接收）一个空输入缓冲区，填充数据并将其发送到编解码器进行处理。编解码器使用数据并将其转换为其空的输出缓冲区之一。最后，你请求（或接收）一个填充的输出缓冲区，消耗其内容并将其释放回编解码器。
在前面Android平台下使用FFmpeg进行RTMP推流（摄像头推流）的文章中，介绍了如何使用FFmpeg进行H264编码和Rtmp推流。接下来讲分几篇文章来介绍如何使用Android系统的MediaCodec进行H264硬编码，然后封装推流。这一块涉及的内容很多，其中涉及一些基础知识也会有单独文章介绍比如flv格式。这篇文章主要介绍如何用MediaCodec进行编码，然后将编码后的数据进行flv封装。
近年来短视频的火爆，让内容创作类的APP获得了巨大的流量。用户通过这类工具编辑自己的短视频，添加各式各样的炫酷特效，从而呈现出更加丰富多彩的视频内容。本文将会介绍如何使用移动端原生API，将图片添加转场特效并且最终合成为视频的基本流程。
这是关于学习使用Unity的基础知识的系列文章中的第五篇。这次，我们将使用计算着色器显著提高图形的分辨率。
---- 新智元报道 来源：arxiv 编辑：LRS 【新智元导读】还在发愁3D 模型渲染的速度太慢吗？最近ICCV 2021 上一个作者提出了一个全新方法RtS，可以让渲染在质量不变的情况下，速度提升128倍！ 在三维计算机图形学中，多边形造型是用多边形表示或者近似表示物体曲面的物体造型方法。多边形造型非常适合于扫描线渲染，因此实时计算机图形处理中的一项可以使用的方法。其它表示三维物体的方法有 NURBS 曲面、细分曲面以及光线跟踪中所用的基于方程的表示方法。 但计算渲染表面的底层场景参数仍然是
在Android系统中，有一种特殊的视图，称为SurfaceView，它拥有独立的绘图表面，即它不与其宿主窗口共享同一个绘图表面。由于拥有独立的绘图表面，因此SurfaceView的UI就可以在一个独立的线程中进行绘制。又由于不会占用主线程资源，SurfaceView一方面可以实现复杂而高效的UI，另一方面又不会导致用户输入得不到及时响应。在本文中，我们就详细分析SurfaceView的实现原理。 在前面Android控件TextView的实现原理分析一文中提到，普通的Android控件
这是关于渲染的系列教程的第15部分。在上一部分中，我们添加了雾。现在，我们将创建自己的延迟光照。
Surface 就是“表面”的意思，可以简单理解为内存中的一段绘图缓冲区。在SDK的文档中，对Surface的描述是这样的：“Handle onto a raw buffer that is being managed by the screen compositor”，翻译成中文就是“由屏幕显示内容合成器(screen compositor)所管理的原生缓冲器的句柄”， 这句话包括下面两个意思:
iOS/Android 客户端开发同学如果想要开始学习音视频开发，最丝滑的方式是对音视频基础概念知识有一定了解后，再借助 iOS/Android 平台的音视频能力上手去实践音视频的采集 → 编码 → 封装 → 解封装 → 解码 → 渲染过程，并借助音视频工具来分析和理解对应的音视频数据。
当进行物体渲染时，表面和灯光信息足以计算光照。但是在两者之间可能存在某些阻碍光线的东西，导致在我们需要渲染的表面上投射了阴影。为了使阴影能够正常表现，就必须以某种方式让着色器知道阴影对象。这有很多种方法可以实现， 最常见的方法是生成一个阴影贴图，该贴图存储光在击中表面之前离开其源的距离。任何在同一个方向上更远的距离都不能被同一个光源照亮。Unity的RP使用这种方法，我们也会这样做。
在上一篇文章定义的解码流程框架基类中，预留了几个虚函数，留给子类初始化自己的东西，本篇，就来看看如何实现。
ML.NET一种跨平台的开源机器学习框架。ML.NET将让广大.NET开发人员可以开发自己的模型，并且将自定义的机器学习融入到其应用程序中，无需之前拥有开发或调整机器学习模型方面的专业知识。能够支持诸多机器学习任务，比如说分类（比如文本分类和情绪分析）以及回归（比如趋势预测和价格预测）,使用模型用于预测，还包括该框架的核心组件，比如学习算法、转换和核心的机器学习数据结构。
最近工作比较忙，很久没有更新这个系列的文章。我们先回顾一下上一篇MediaCodec进行AAC编解码（文件格式转换）的内容，里面介绍了MediaExtractor的使用，MediaCodec进行音频文件的解码和编码，ADTS的介绍和封装。今天这篇文章在此基础上跟大家一起学习如何通过Android设备进行音频的采集，然后使用MediaCodec进行AAC编码，最后输出到文件。这部分我们关注的重点就是在如何进行音频的采集。 项目代码github对应的代码版本v1.7。大家一定要注意下载对应的代码版本调试。
要了解 Android Camear 相机模型的演变，首先还是得了解硬件抽象层 HAL 相关的知识内容。
我们的大脑是个不断进化的物体，一直在持续不断修改自身的结构，以保留新的信息，并根据我们与环境的互动去掉旧的信息。正如我们所知，人工神经网络及其激活网最初是仿照大脑建立的。然而，大多数人工神经网络在结构上是静态的，依赖于批量学习，在训练时它们被输入很多批独立同分布(IID)数据，并且学习到的参数在部署时被固定，这与我们大脑的学习方式不一样: 我们不是通过一次性处理随机批量的数据来学习，而是通过处理我们从感官接收到的关于我们周围环境的连续的相关信息流。
今天我们学习音频的采集、编码、生成文件、转码等操作，我们生成三种格式的文件格式，pcm、wav、aac 三种格式，并且我们用 AudioStack 来播放音频，最后我们播放这个音频。
这是关于渲染的系列教程的第十一部分。之前，我们使着色器能够渲染复杂的材质。但是这些材质一直都是完全不透明的。现在，我们将添加对透明度的支持。
这是渲染教程系列的第14篇文章。上一章我们介绍了延迟着色，这次我们把雾效果添加到场景中。
HipHopBoy：Unity SRP 系列翻译汇总zhuanlan.zhihu.com
双缓冲机制主要目的是为了解决计算机图形学中的屏幕闪烁和画面流畅性问题。该机制通过在内存中创建两个缓冲区：一个用于绘制图像的后缓冲区，一个用于显示图像的前缓冲区，来避免因为输入输出速度不匹配造成的界面闪烁、卡顿等现象。这个问题是很老的问题了，目前的系统基本都已经支持双缓冲了。
本文实例为大家分享了Android使用MediaCodec将摄像头采集的视频编码为h264，供大家参考，具体内容如下
---- 新智元报道 编辑：LRS 【新智元导读】最近谷歌发布了全新的MobileNeRF模型，直接将神经辐射场拉入移动时代，内存需求仅为1/6，渲染3D模型速度提升10倍，手机、浏览器都能用！ 2020年，神经辐射场（NeRF）横空出世，只需几张2D的静态图像，即可合成出该模型的3D场景表示，从此改变了3D模型合成的技术格局。 NeRF以一个多层感知器（MLP）来学习表示场景，评估一个5D隐式函数来估计从任何方向、任何位置发出的密度和辐射，可在体渲染（volumic rendering）框架下
在【音视频硬解码流程：封装基础解码框架】这篇文章中，介绍了如何使用Android原生提供的硬编解码工具MediaCodec，对视频进行解码。同时，MediaCodec也可以实现对音视频的硬编码。
ArcGIS中的地理处理允许您执行空间分析和建模以及自动执行GIS任务。典型的地理处理工具获取输入数据（要素类、栅格或表），执行地理处理任务，然后生成输出数据作为结果。ArcGIS包含数百种地理处理工具。地理处理工具的示例包括用于创建缓冲区、用于向表添加字段以及用于对地址表进行地理编码的工具。
ProcessBuilder是一个final类，Process是一个抽象类。ProcessBuilder.start() 和 Runtime.exec() 方法都被用来创建一个操作系统进程（执行命令行操作），并返回 Process 子类的一个实例，该实例可用来控制进程状态并获得相关信息。
SurfaceView就是在Window上挖一个洞，它就是显示在这个洞里，其他的View是显示在Window上，所以View可以显式在 SurfaceView之上，你也可以添加一些层在SurfaceView之上。
想象一个大的黑色三角形在白色背景上缓慢移动。当一个屏幕网格单元被三角形覆盖时，代表这个单元的像素值应该在强度上线性(“平滑”两个字打不出来)下降。在各种基本渲染器中通常发生的情况是，网格单元的中心被覆盖的那一刻，像素颜色立即从白色变为黑色。标准GPU渲染也不例外。请参见图5.14的最左侧列。
Media内核是Android系统中负责音视频处理的核心模块，包括音视频采集、编解码、传输、播放等功能。Media内核源码位于Android源码树的/frameworks/av目录下，主要包括以下模块：
本文由花椒直播技术总监唐赓在LiveVideoStack线上交流分享中的演讲内容整理而成。在分享中，唐赓详细介绍了花椒直播在两年多的H.265线上实践过程中所积累的一些经验，以及一些成本、效果优化方案
GLKit框架提供了View和ViewController类，它们消除了OpenGL ES内容绘制和动画制作所需的设置和代码维护。 GLKView类管理OpenGL ES基础结构并为绘图代码提供位置，而GLKViewController类则为GLKit视图中的OpenGL ES内容的平滑动画提供渲染循环。 这些类扩展了用于绘制视图内容和管理视图表示的标准UIKit设计模式。 因此，您可以将精力主要放在您的OpenGL ES渲染代码上，并让您的应用程序快速启动并运行。 GLKit框架还提供了其他功能来简化OpenGL ES 2.0和3.0的开发。
达梦（DM8）数据库由实例和数据库共同组成。 实例由一组正在运行的后台进程及其所fork出的一系列线程和分配内存组成。数据库是由一系列存放在操作系统上的文件组成。 体系结构图大致为：
这是有关创建自定义脚本渲染管道的系列教程的第七部分。它涵盖了详细的层次结构（LOD）和简单的反射，可以为场景添加细节。
录音采用的是AudioRecord，通过MediaCodec进行编码，用MediaMuxer合成输出MP4文件。
这是有关创建自定义脚本渲染管道的系列教程的第14部分。这次，我们重新考虑了使用多个摄像机的渲染，现在添加了post FX。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
