getSurface : 获取图像的渲染表面。在实现截图功能时，这里的表面对象要作为createVirtualDisplay方法的输入参数。...configure : 设置媒体编码的参数，包括视频格式、视频宽高、视频位率、视频帧率等等。 createInputSurface : 创建一个用于输入的表面对象。...在实现录屏功能时，这里的表面对象要作为createVirtualDisplay方法的输入参数。 start : 开始编码。 dequeueOutputBuffer : 给输出缓冲区排队。...返回该输出缓冲区的索引位置。 getOutputFormat : 获取输出格式。 getOutputBuffer : 根据索引位置获取输出缓冲区的数据。...Log.d(TAG, "缓冲区的索引为" + index); if (index == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) { //输出格式发生变化
当客户端连续在MediaCodec上向缓冲区加载数据并接收回缓冲区时，使用缓冲区队列与MediaCodec实例进行交互： 客户端从MediaCodec中使输入缓冲区出队，并在可用时接收。...客户端使MediaCodec的输出缓冲区出队，并在可用时接收一个缓冲区。 客户端使用输出数据并将缓冲区释放回MediaCodec。...在其他情况下（例如调整视频大小），必须引入渲染层以将解码器输出转换为编码器输入。 在处理视频时，我们可以将MediaCodec配置为与ByteBuffer或Surface一起用作输入/输出。...它在Surface模式下同时运行编码器和解码器编解码器，并使用OpenGL将解码器的输出渲染到编码器的输入上。 音轨转码器只能更改比特率（目前）。...解码编码的源数据。 将解码器输出渲染到编码器输入上。 编码渲染的数据。 编写编码的目标数据。 每个步骤执行特定功能，并且与上一个和/或下一个步骤具有明确定义的交互。
当客户端连续在MediaCodec上向缓冲区加载数据并接收回缓冲区时，使用缓冲区队列与MediaCodec实例进行交互： 客户端从MediaCodec中使输入缓冲区出队，并在可用时接收。...客户端使MediaCodec的输出缓冲区出队，并在可用时接收一个缓冲区。 客户端使用输出数据并将缓冲区释放回MediaCodec。 重复该过程，直到处理完所有帧。...客户端不拥有缓冲区，使用完缓冲区后必须将其释放回MediaCodec。否则，在某些时候，所有出队尝试将始终失败。当不再需要MediaCodec实例时，它将停止并释放它。...在其他情况下（例如调整视频大小），必须引入渲染层以将解码器输出转换为编码器输入。 在处理视频时，我们可以将MediaCodec配置为与ByteBuffer或Surface一起用作输入/输出。...它在Surface模式下同时运行编码器和解码器编解码器，并使用OpenGL将解码器的输出渲染到编码器的输入上。 音轨转码器只能更改比特率（目前）。
最终的延迟通道将中间状态转换为最终的正确颜色。 ? （反色） 当场景以低动态范围-LDR-颜色（默认设置）渲染时，Unity会执行此操作。在这种情况下，颜色将写入ARGB32纹理。...因此，最终会直接着色结果而不是将几何数据写入G缓冲区。这个流程是不正确的。我们必须输出几何数据，而不要直接计算照明。...（反照率和遮挡关系） 你可以使用场景视图或帧调试器检查第一个G缓冲区的内容，以验证我们是否正确填充了它。这会向你显示其RGB通道。但是，不会显示A通道。要检查遮挡数据，可以将其临时分配给RGB通道。...打开场景后，请确保用于镜像球体和地板的材质的“Metallic ”和“Smoothness”设置为1。此外，还必须使用我们的着色器。 ? ? （场景和反射探针） 该场景具有三个反射探测器。...当G缓冲区已满时，你可以通过帧调试器检查第四个缓冲区RT 3来看到这一点。 ? ?
让机器更好地感知透明的表面，不仅能提高安全性，还能在非结构化应用中开辟新的交互——比如处理厨房用具或对塑料进行回收分类的机器人，或是在室内环境中导航或在玻璃桌面上生成增强现实 (AR) 可视化效果。...遮挡会删除跟透明对象有关的所有像素，以便填充其正确的深度。然后，使用一个全局优化模块，从已知的表面开始扩展深度，并使用预测的表面法线来指导重建的形状，然后使用预测的遮挡边界来保持不同对象之间的分离。...点云是基于其相应的深度图像生成生成的，用其表面法线着色。 最重要的是，ClearGrasp 的输出深度可以直接用作使用 RGB-D 图像的最先进的操作算法的输入。...当使用平行颌夹持器时，成功率从基线的 12% 提高到 74%，吸物时从 64% 提高到 86%。 使用 ClearGrasp 操作新的透明对象。...值得注意的是，这些条件是有挑战性的：没有纹理的背景，复杂的物体形状和定向光，同样有令人困惑的阴影和焦散（当光线从表面反射或折射时产生的光的模式）。
这个类的使用很简单，只需要给定一个Surface（输入）和一个File（输出），它就给你生成一个标准的mp4文件。 但越是简单的东西便意味着越难以控制，MediaRecorder的缺点很明显。...难点在于running状态，也就是上图右侧绿色部分的流程。 当MediaCodec处于Running状态时，内部会持有两个缓冲区队列，一个输入缓冲区，一个输出缓冲区。...当我们向输入缓冲区输入数据后，MediaCodec会从中取出数据，送到硬件进行编码，编码结束后送到缓冲区，这是一个异步过程，这时候我们可以从输出缓冲区取出编码后的数据。...Surface作为输入，所以不需要直接操作输入缓冲区，只需要把MediaCodec生成的Surface绑定到OpenGL即可，所以这里使用了一个纹理封装CodecTextureWrapper，请参考前几章的...* 这里必须把outputFormat设置给MediaMuxer，而不能不能用inputFormat代替，它们时不一样的，不然无法正确生成mp4文件 */
在深度估计方面，提出结合多视图半全局匹配算法和深度神经网络优化后处理过程鲁棒地估计场景深度。在表面网格生成过程，本文提出的在线网格生成算法可以实时增量地融合关键帧深度到稠密网格中，从而重建场景表面。...通过定性和定量的实验验证，所研制的单目三维重建系统能够正确处理虚拟物体与真实场景之间的遮挡和碰撞，在手机端实现逼真的 AR 效果和交互。...该位姿经过后端全局优化后进入深度估计模块，对于新增的每个关键帧，首先基于多视图半全局匹配方法计算关键帧初始深度图，然后采用置信度和深度神经网络优化深度图噪声，优化后的深度图输入增量式网格生成模块后实时构建场景表面稠密网格...和高阶的感知损失 ? 三个部分。 ? 网络第二个阶段的输入为原始深度图和一阶段的深度图噪声预测结果，使用 U-Net 残差深度优化网络优化原始输入的深度，得到更高质量的深度输出。...Mobile3DRecon 系统能够正确处理虚拟物体与真实场景之间的遮挡和碰撞，从而达到逼真的AR效果。
正如我们前面提到的，在大多数实现中，顶点着色器负责非着色操作，例如几何变换和变形。生成的几何表面属性，转换为适当的坐标系，由顶点着色器写出，在三角形上线性插值，并作为不同的着色器输入传递到像素着色器。...这将产生不正确的结果，如图5.11所示。 图5.11. 两个光向量之间的插值。在左侧，插值前对其进行归一化会导致插值后方向不正确。在右侧，对非归一化向量进行插值会产生正确的结果。...此实现将使用着色器的动态分支功能来循环所有光源。虽然这种简单的方法可以很好地适用于相当简单的场景，但它不能很好地扩展到具有许多光源的大型和几何复杂的场景。第20章将介绍有效处理大量灯光数量的渲染技术。...像素着色器输入与顶点着色器输出相匹配，这些输出在输入到像素着色器之前在三角形上进行插值。这个像素着色器有两个不同的输入：表面位置和表面法线，都在应用程序的世界空间坐标系中。...例如，每个变体都可以在完全了解最终着色器程序的情况下进行优化。然而，随着变体数量的增加，这种方法很快变得不切实际。当考虑到所有不同的部分和选项时，可能的不同着色器变体的数量是巨大的。
跨三角形执行的插值类型由像素着色器程序指定。通常我们使用透视校正插值，这样像素表面位置之间的世界空间距离会随着物体距离的缩小而增加。一个例子是渲染延伸到地*线的铁轨。...有了输入，像素着色器通常会计算并输出片元的颜色。它还可能产生不透明度值并可选择修改其z深度。在合并阶段，这些值用于修改存储在像素中的内容。光栅化阶段生成的深度值也可以通过像素着色器进行修改。...像素着色器的局限性在于它通常只能在交给它的片元位置写入渲染目标，而不能从相邻像素读取当前结果。也就是说，当像素着色器程序执行时，它不能将其输出直接发送到相邻像素，也不能访问其他人最*的更改。...当像素着色器请求梯度值时，返回相邻片段之间的差异。参见图3.15。统一着色器核心具有访问相邻数据的能力——保存在同一warp的不同线程中——因此可以计算用于像素着色器的梯度。...DirectX 11.3中引入了光栅化顺序视图(ROV)以强制执行顺序。这些就像UAV一样；它们可以由着色器以相同的方式读取和写入。关键区别在于ROV保证以正确的顺序访问数据。
MediaCodec 可以用来获得安卓底层的多媒体编码，可以用来编码和解码，它是安卓 low-level 多媒体基础框架的重要组成部分。 ? MediaCodec 的作用是处理输入的数据生成输出数据。...首先生成一个输入数据缓冲区，将数据填入缓冲区提供给 codec，codec 会采用异步的方式处理这些输入的数据，然后将填满输出缓冲区提供给消费者，消费者消费完后将缓冲区返还给 codec。...但是当使用原始视频数据时，最好采用 Surface 作为输入源来替代 ByteBuffer，这样效率更高，因为 Surface 使用的更底层的视频数据，不会映射或复制到 ByteBuffer 缓冲区。...原始视频数据 原始视频数据也是编码器的输入数据，解码器的输出数据。...，MediaCodec 使用输入输出缓存，异步处理数据。
我们将当前方法保留为默认方法，但是在定义NO_DEFAULT_UV时将切换为不使用UV的方法。 1.1 不使用默认UV 当网格数据不包含UV时，则没有任何UV从顶点传递到片段程序。...轴对齐的立方体在所有方面都看起来不错，但其中一半以镜像映射结尾。 ? （纹理在另一侧镜像） 当纹理被镜像时，这并不总是一个问题，但是当使用带有数字的测试纹理时，这很明显。因此，请确保纹理不要被镜像。...（具有混合偏移的材质） 在权重归一化之前，先从权重中减去偏移量，然后看会是什么样子。 ? ? （不正确的偏移） 当混合权重保持为正时看起来不错，但是负权重会从最终数据中消除。...另外，仅在需要时才包括UV坐标。 ? 7.3 三向光贴图 剩下要做的就是声明我们的三向着色器在其元通道中需要的法线和位置数据。完成后，照明再次恢复，反照率将正确显示在场景视图中。 ? ?...是的，当进行光照贴图时，我们最终使用对象空间而不是世界空间。发生这种情况是因为Unity没有为meta pass设置对象到世界的转换矩阵。
；输出数据为顶点着色器所应输出的数据，但是是批量的（可编程） 几何着色器：输入是1个图元，输出是N个图元（N>=0） 通过Shader程序可以指定Geometry Shader对顶点信息进行增减。...另外逐像素光照可以在渲染时添加并不存在的表面细节。如通过bump贴图或normal贴图，在原本平坦的表面表现出近似的凹凸效果。 当然，逐像素的计算量要比逐顶点要大 ?...如果一个片元通过了所有的测试，新生成的片元才能和颜色缓冲区中已存在的像素颜色进行Alpha混合，并写入颜色缓冲区 • Alpha测试： ?...在开启了VSync垂直同步时，若游戏的FPS低于显示器刷新频率，三重缓冲可缓解卡顿现象，然而由于存在2个后备缓冲区，三重缓冲会导致画面有一帧的延迟。...当电子枪换到新的一行，准备进行扫描时，显示器会发出一个水平同步信号（horizonal synchronization），简称 HSync； 而当一帧画面绘制完成后，电子枪回复到原位，准备画下一帧前，显示器会发出一个垂直同步信号
由于着色和飞溅计算的复杂性受像素数量的限制，而不是曲面的复杂性，因此RtS能够扩展到特别复杂的场景。 可微着色函数的一个例子是神经辐射场NeRF网络：给定空间中的位置和观察方向，它输出相应的辐射。...当使用体渲染对NeRF进行训练时，提出的方法可以将预训练的NeRF转换为表面光场，而无需成本较高的光线推进（raymarching）。...光栅化可以表示为一个函数，该函数采用场景参数θ（包含几何属性，如位置、法线或纹理坐标）以及相机参数，并生成屏幕空间几何缓冲区（G-buffers），缓冲区包含距离摄影机最近的K个光线交点处的插值属性。...为了使这个过程既可微又有效，研究人员将光栅化分为两个阶段：采样函数生成不可微曲面参数，以及求值函产生缓冲区的，并且参数随表面类型而变化。...着色步骤的输出是一组RGBA缓冲区。 3、多层喷溅Depth-Aware Splatting 着色颜色具有与曲面属性相关的导数，但由于它们是使用点采样生成的，因此它们在遮挡边界没有导数。
通过上图可以看出，mediacodec的作用是处理输入的数据生成输出数据。...首先生成一个输入数据缓冲区，将数据填入缓冲区提供给codec，codec会采用异步的方式处理这些输入的数据，然后将填满输出缓冲区提供给消费者，消费者消费完后将缓冲区返还给codec。...所有的同步模式的 MediaCodec API都遵循一个模式： 创建并配置一个 MediaCodec 对象 循环直到完成: 如果输入缓冲区就绪，读取一个输入块，并复制到输入缓冲区中 如果输出缓冲区就绪...我们知道当编解码器被启动后，每个编解码器都会拥有一组输入和输出缓存区，但是这些缓存区暂时无法被使用，只有通过MediaCodec的dequeueInputBuffer/dequeueOutputBuffer...start后，会进入一个for(;;)循环，该循环是一个死循环，以实现不断地去从编解码器的输入缓存池中获取包含数据的一个缓存区，然后再从输出缓存池中获取编解码好的输出数据。
一个流用于预览，另一个用于条形码检测 计算摄影学：一个流用于预览，另一个用于人脸或场景的检测 正如我们在之前的文章中讨论的那样，当我们处理帧时，存在较大的性能成本，并且这些成本在并行流 / 流水线处理中还会成倍增长...(), null, null) 复制代码 如果你正确配置了目标 surfaces，则此代码将仅生成满足 StreamComfigurationMap.GetOutputMinFrameDuration(...为了获取到正确的预览尺寸，我们需要对比可用的输出尺寸和显示尺寸，同时考虑到可以旋转显示。...现在我们已经掌握了在框架的支持下使用两个并发流的所需知识，我们可以更深入了解目标输出缓冲区的配置。...ImageReader 这样的阻塞目标缓冲区时，我们需要在使用后丢弃这些帧： imageReader.setOnImageAvailableListener({ val frame =
封面出自：板栗懒得很 本章仅对部分代码进行讲解，以帮助读者更好的理解章节内容。 本系列文章涉及的项目HardwareVideoCodec已经开源到Github，支持软编和硬编。...上一章我们利用MediaCodec编码视频时，使用了Surface，所以可以不直接操作输入缓冲区队列。但是编码音频的时候，由于无法使用Surface，所以需要直接操作输入缓冲区队列。 ...最后通过循环从编码器输出缓冲区中拿出AAC数据。这里通过回调把AAC数据送进MediaMuxer进行音视频混合，最后生成mp4文件。...inputBuffers /** * 输入输出缓存队列 */ outputBuffers = codec!!....，很重要 * 这里必须把outputFormat设置给MediaMuxer，而不能不能用inputFormat代替，它们时不一样的，不然无法正确生成mp4文件
（防止光线到达它不应该到达的地方） 1 渲染阴影 当进行物体渲染时，表面和灯光信息足以计算光照。但是在两者之间可能存在某些阻碍光线的东西，导致在我们需要渲染的表面上投射了阴影。...这有很多种方法可以实现， 最常见的方法是生成一个阴影贴图，该贴图存储光在击中表面之前离开其源的距离。任何在同一个方向上更远的距离都不能被同一个光源照亮。Unity的RP使用这种方法，我们也会这样做。...这些是输入参数，其余三个是输出参数。首先是视图矩阵，然后是投影矩阵，最后一个参数是ShadowSplitData结构。 ? 拆分的数据包含有关应如何剔除投射对象的信息，我们需要将其复制到阴影设置中。...我们一直观察到的伪影被称为暗疮粉刺，这是由于与光的方向不完全对齐的表面的不正确的自阴影引起的。随着表面越来越接近平行于光的方向，粉刺变得更糟。 ?...因此，对于正面照亮的表面，该值为零；当光线在至少两个维度中的至少一个以45°角入射时，该值为1；而当表面法线和光方向的点积达到零时，则为无穷大。因此，当需要更多时，偏差会自动增加，但没有上限。
使用解析 MediaCodec 工作模型 下图展示了 MediaCodec 的工作方式，一个典型的生产者消费者模型，两边的 Client 分别代表输入端和输出端，输入端将数据交给 MediaCodec...输入端和输出端是通过输入队列缓冲区和输出队列缓冲区，两条缓冲区队列的形式来和 MediaCodec 传递数据。...Running 状态，当入队的缓冲区带有 EOS 标志时， 就会切换到 End of Stream 状态， MediaCodec 不再接受入队的缓冲区，但是仍然会对已入队的且没有进行编解码操作的缓冲区进行操作...另外，当调用 reset 方法也会进入到 Uninitialized 状态。 当不再需要 MediaCodec 时，调用 release 方法将它释放掉，进入 Released 状态。...当 MediaCodec 工作发生异常时，会进入到 Error 状态，此时还是可以通过 reset 方法恢复过来，进入 Uninitialized 状态。
以前，在使用它时有一个严格的限制：输入和输出的 RGB 颜色值都在 0-1 的范围内。...通过添加第二个 AVCaptureVideoDataOutput 的能力可以扩展内容采集，从而优化视频数据输出：一个输出可以使用较小的缓冲区用于预览，另一个可以使用全尺寸的 4K 缓冲区进行录制。...当完成扫描后，RoomCaptureView 会显示最终的后处理结果。...包括如何将人们引导到正确的环境、如何合理利用屏幕空间、怎样对持续移动的场景设计 AR 交互、如何考虑人体工程学和有限视野的限制、如何使用深度提示以及对体验时长加以限制避免性能问题和用户疲倦。...还介绍了使用 ARKit、RealityKit 和 Object Capture 时的最佳实践。 要做好对象捕获，有几点需要注意： 选择具有正确特征的对象： 物体表面要有足够的纹理。
一般来说存在的纹理都是经过Gamma矫正了的，也就是说当纹理被采样到一个材质上时，颜色值已经不是线性的了。如果这些纹理用通常的计算方式去计算光照和图片效果，在非线性空间计算，这将导致轻微的偏差。...即使这些值是在Gamma空间中的，所有shader计算对待他们输入都当做在线性空间，此外，当把shader输出写到内存中时，没有对最终像素应用Gamma矫正。...两种情况： 线性输入 输入颜色值在线性空间下，而在shader中按照线性空间下的计算，这些都是正确的，但最终输出的时候也没有做任何处理（主要Gamma矫正），所以在屏幕显示时，屏幕进行了一次display...非线性输入 输入颜色值在非线性空间下（通常表现为纹理），而在shader中把该值当成是线性空间下计算的（产生了偏差），这是不正确的，在最终输出的时候也没有做任何处理，但在屏幕显示时，进行了display...Linear与Gamma 混合 混合是在帧缓冲区发生的，当使用Gamma Rendering，这表示颜色之间混合是在非线性空间下计算的。然而这是不正确的。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
