这个公众号会路线图式的遍历分享音视频技术：音视频基础 → 音视频工具 → 音视频工程示例 → 音视频工业实战。关注一下成本不高，错过干货损失不小 ↓↓↓
WebGL 和 Node.js 中都有 Buffer 的使用，简单对比记录一下两个完全不相干的领域中 Buffer 异同，加强记忆。
我们在知识星球上创建的音视频技术社群关键帧的音视频开发圈已经运营了一段时间了，在这里群友们会一起做一些打卡任务。比如：周期性地整理音视频相关的面试题，汇集一份音视频面试题集锦，你可以看看这个合集：音视频面试题集锦。再比如：循序渐进地归纳总结音视频技术知识，绘制一幅音视频知识图谱，你可以看看这个合集：音视频知识图谱。
首先从过去的 CRT 显示器原理说起。CRT 的电子枪按照上面方式，从上到下一行行扫描，扫描完成后显示器就呈现一帧画面，随后电子枪回到初始位置继续下一次扫描。为了把显示器的显示过程和系统的视频控制器进行同步，显示器（或者其他硬件）会用硬件时钟产生一系列的定时信号。当电子枪换到新的一行，准备进行扫描时，显示器会发出一个水平同步信号（horizonal synchronization），简称 HSync；而当一帧画面绘制完成后，电子枪回复到原位，准备画下一帧前，显示器会发出一个垂直同步信号（vertical synchronization），简称 VSync。显示器通常以固定频率进行刷新，这个刷新率就是 VSync 信号产生的频率。尽管现在的设备大都是液晶显示屏了，但原理仍然没有变。
这一章介绍了计算机与图形硬件和实际编程相关的内容, 其中主要利用OpenGL简单介绍了实际的图形编程部分, 但是如果想要真正开始OpenGL编程, 查阅其它资料是必不可少的. 注意这一章最新的英文版和中文版由于时代不同所以内容差别非常大, 建议还是阅读英文版本.
Pipeline： 开始绘制图形之前，我们必须先给OpenGL输入一些顶点数据,OpenGL不是简单地把所有的3D坐标变换为屏幕上的2D像素；OpenGL仅当3D坐标在3个轴（x、y和z）上都为-1.0到1.0的范围内时才处理它。所有在所谓的标准化设备坐标(Normalized Device Coordinates)范围内的坐标才会最终呈现在屏幕上. 定义这样的顶点数据以后，我们会把它作为输入发送给图形渲染管线的第一个处理阶段：顶点着色器。它会在GPU上创建内存用于储存我们的顶点数据，还要配置OpenGL如何解释这些内存，并且指定其如何发送给显卡。顶点着色器接着会处理我们在内存中指定数量的顶点。 通过顶点缓冲对象(Vertex Buffer Objects, VBO)管理这个内存，它会在GPU内存（通常被称为显存）中储存大量顶点。使用这些缓冲对象的好处是我们可以一次性的发送一大批数据到显卡上，而不是每个顶点发送一次。从CPU把数据发送到显卡相对较慢，所以只要可能我们都要尝试尽量一次性发送尽可能多的数据。 顶点缓冲对象是我们在[OpenGL]教程中第一个出现的OpenGL对象。就像OpenGL中的其它对象一样，这个缓冲有一个独一无二的ID，所以我们可以使用glGenBuffers函数和一个缓冲ID生成一个VBO对象：
选自GitHub 机器之心编译 参与：蒋思源、路雪 deeplearn.js 是一个可用于机器智能并加速 WebGL 的开源 JavaScript 库。deeplearn.js 提供高效的机器学习构建模块，使我们能够在浏览器中训练神经网络或在推断模式中运行预训练模型。它提供构建可微数据流图的 API，以及一系列可直接使用的数学函数。 本文档中，我们使用 TypeScript 代码示例。对于 vanilla JavaScript，你可能需要移除 TypeScript 语法，如 const、let 或其他类
VBO（Vertex Buffer Object）是指顶点缓冲区对象，而 EBO（Element Buffer Object）是指图元索引缓冲区对象，VAO 和 EBO 实际上是对同一类 Buffer 按照用途的不同称呼。
VBO（Vertex Buffer Object）是指顶点缓冲区对象，而 EBO（Element Buffer Object）是指图元索引缓冲区对象，VAO
VBO（Vertex Buffer Object）是指顶点缓冲区对象，而 EBO（Element Buffer Object）是指图元索引缓冲区对象，VBO 和 EBO 实际上是对同一类 Buffer 按照用途的不同称呼。
在前两篇文章《Unity3D学习笔记6——GPU实例化(1)》《Unity3D学习笔记6——GPU实例化(2)》分别介绍了通过简单的顶点着色器+片元着色器，以及通过表面着色器实现GPU实例化的过程。而在Unity的官方文档Creating shaders that support GPU instancing里，也提供了一个GPU实例化的案例，这里就详细论述一下。
对象的创建会分配内存、调整属性、甚至还有读取文件等操作，比较消耗 CPU 资源。尽量用轻量的对象代替重量的对象，可以对性能有所优化。比如 CALayer 比 UIView 要轻量许多，那么不需要响应触摸事件的控件，用 CALayer 显示会更加合适。如果对象不涉及 UI 操作，则尽量放到后台线程去创建，但可惜的是包含有 CALayer 的控件，都只能在主线程创建和操作。通过 Storyboard 创建视图对象时，其资源消耗会比直接通过代码创建对象要大非常多，在性能敏感的界面里，Storyboard 并不是一个好的技术选择。
为了解释这个问题首先需要了解一下屏幕图像的显示原理。首先从 CRT 显示器原理说起，如下图所示。CRT 的电子枪从上到下逐行扫描，扫描完成后显示器就呈现一帧画面。然后电子枪回到初始位置进行下一次扫描。为了同步显示器的显示过程和系统的视频控制器，显示器会用硬件时钟产生一系列的定时信号。当电子枪换行进行扫描时，显示器会发出一个水平同步信号（horizonal synchronization），简称 HSync；而当一帧画面绘制完成后，电子枪回复到原位，准备画下一帧前，显示器会发出一个垂直同步信号（vertical synchronization），简称 VSync。显示器通常以固定频率进行刷新，这个刷新率就是 VSync 信号产生的频率。虽然现在的显示器基本都是液晶显示屏了，但其原理基本一致。
现代 OpenGL（以及名为WebGL的扩展）与我过去学习的传统 OpenGL 有很大不同。我了解栅格化的工作原理，所以对这些概念很满意。但是我所阅读的每篇教程都介绍了抽象和辅助函数，这使我很难理解哪些部分是 OpenGL API 的真正核心。
一个进程就是一个程序的运行实例。详细解释就是，启动一个程序的时候，操作系统会为该程序创建一块内存，用来存放代码、运行中的数据和一个执行任务的主线程，我们把这样的一个运行环境叫进程。进程是运行在虚拟内存上的，虚拟内存是用来解决用户对硬件资源的无限需求和有限的硬件资源之间的矛盾的。从操作系统角度来看，虚拟内存即交换文件；从处理器角度看，虚拟内存即虚拟地址空间。
2.顶点数组 顶点数组是制定给个顶点的属性，是保存在应用程地址空间的缓存区。作为顶点缓冲对象的基础 一般用glVertexAttribPointer或者glVertexAttribIPointer
1.使用AVPlayer 获取视频每一帧的YUV 像素数据 2.通过CoreVideo 框架中的几个方法,将Y分量和UV 分量进行分离 3.创建着色器，对Y分量和UV 分量进行采样. 4.在着色器中，将YUV 转换为RGB 5.计算视口的位置，分别进行渲染.
现在开始，通过浏览库的Basic Tensor Functionality这一部分，开始更加系统地熟悉Theano的基本对象和操作是非常明智的。
下面，你会看到一个图形渲染管线的每个阶段的抽象展示。要注意蓝色部分代表的是我们可以注入自定义的着色器的部分。
实例化是一种只调用一次渲染函数却能绘制出很多物体的技术，它节省渲染一个物体时从CPU到GPU的通信时间。 实例数组是这样的一个对象，使用它，可以把原来的的uniform变量转换成attribute变量，而且这个attribute变量对应的缓冲区可以被多个对象使用；这样在绘制的时候，可以减少webgl的调用次数。
导读：相信很多程序员在学习一门新的编程语言或者框架时，都会先了解下该语言或者该框架涉及的数据结构，毕竟当你清晰地了解了数据结构之后才能更加优雅地编写代码，MXNet同样也是如此。
既然是学习音视频技术，那必然少不了渲染这个环节，OpenGL就是进行图形渲染的一个重要角色。
渲染：把程序提供的几何数据转换成屏幕上的图像的过程叫做渲染，渲染的结果保存在帧缓存中
https://learnopengl-cn.github.io/01%20Getting%20started/04%20Hello%20Triangle/
1.由于着色器编译 链接过程较为繁琐，我封装了一下,文件名为"OSShaderManager.h" 和"OSShaderManager.m" 如果你对着色器程序加载过程不熟悉请参考OpenGL ES _ 着色器 _ 程序 代码:
选自AWS Blog 作者：Julien Simon 机器之心编译 参与：Pedro、路 本文介绍了如何利用 Apache MXNet 预训练出的多个模型。每个模型在特定图像上的表现略有不同，训练多个模型旨在找出更适合特定任务的模型。 在这篇博文中，你将会了解如何使用 Apache MXNet 预训练出的多个模型。为什么要尝试多个模型呢？为什么不直接选择准确率最高的呢？稍后我们会在文章中看到，尽管这些模型是在相同的数据集上训练的，并且都针对最大准确率进行了优化，但它们在特定图像上的表现略有不同。此外，（不同
WebGL基于OpenGL ES（嵌入式系统） 一种广泛用于在各种平台上渲染2D和3D图形的标准。它允许开发人员使用JavaScript与用户设备的GPU（图形处理单元）交互，实现硬件加速渲染。
用户输入的数据 以 顶点数组对象表示 Vertex Array Object，VAO
在CPU上执行的代码是串行的，它的优点在于强逻辑性和强扩展性。代码必须严格按顺序执行，任何次序的错误都可能会导致程序出错。
tensor(张量)是PyTorch中最基本的数据形式。 在PyTorch中，使用torch.Tensor类表示。
为了简化操作，可以在 nextjournal 上注册账户，点击「edit」即可直接运行文章中的简单代码了。
这是渲染系列的第19篇教程。上一章节涵盖了 realtime GI, probe volumes, 和LOD groups，这一节我们来试一下另外一种缩减DrawCall的方法，合批。
一般我们 在实时渲染中，DC也就是 DrawCall 都会尽可能的降低，因为这会比较直接的降低 CPU 与 GPU 的绘制沟通
GPU是一个大规模并行处理器，具有几千个并行处理单元。 例如，本文中使用的Tesla k80提供4992个并行CUDA内核。 GPU在频率，延迟和硬件功能方面与CPU完全不同，但有点类似于拥有4992个内核的慢速CPU！
call: Array.prototype.call(this, args1, args2]) apply: Array.prototype.apply(this, [args1, args2]) ：ES6 之前用来展开数组调用, foo.appy(null, [])，ES6 之后使用 ... 操作符
Core Image框架是适合图片的苹果滤镜框架，主要用处可以给图片添加滤镜效果和图像识别功能（人脸、条形码等等）。本文将会介绍逐一介绍 Core Image相关基础概念、使用方式、注意点以及和其他图像处理方案的对比。
OpenGL ES 实例化（Instancing）是一种只调用一次渲染函数就能绘制出很多物体的技术，可以实现将数据一次性发送给 GPU ，告诉 OpenGL ES 使用一个绘制函数，将这些数据绘制成多个物体。
Tensors（张量）类似于NumPy中的ndarray，另外它还可以使用GPU加速计算。
本文来安利大家一个超强的库，这个库可以让你的 C# 代码利用上 GPU 显卡的性能，进行一些并行计算。这个库是基于 DirectX12GameEngine 的 ComputeSharp 库。在这个库里面将会动态生成 HLSL 代码，使用着色器的方式在 GPU 上跑起来
本文是关于我使用实验性的WebGPU API并与有兴趣使用GPU进行数据并行计算的Web开发人员分享我的旅程。
好久不见, 最近忙于应聘, 好长时间没有写新的文章了, 但实际上屯了好几篇半成品, 预计未来更新频率会逐渐恢复.
attribute是GLSL中特殊的变量类型，用于从“外部”到顶点着色器的通信，只能用于Vertex Shader（顶点着色器），不能用于其他Shader中，attribute 通常用来存储位置坐标、法向量、纹理坐标和颜色等，定义如下：
本文首发于政采云前端团队博客：WebGL 概念和基础入门 https://www.zoo.team/article/webglabout
PyTorch既是一个深度学习框架又是一个科学计算包，她在科学计算方面主要是PyTorch张量库和相关张量运算的结果。（张量是一个n维数组或者是一个n－D数组）PyTorch是一个张量库，她紧密地反映了numpy的多维数组功能，并且与numpy本身有着高度的互操作性。Pytorch中常用包的介绍
本教程的人脸识别是使用的是insightface库进行开发的，该库使用的框架为mxnet。
关于 HTML/CSS、SVG、Canvas2D 和 WebGL 这四种图形系统。
WebGL 是 Web 3D 渲染引擎的基础，它作为非常底层的 API，学习上手难度非常大，这是因为 WebGL 要求的背景知识比较多。而网上的教程一般没有过多介绍直接就介绍 API 开始渲染了，容易让人云里雾里，很容易被劝退，就算学到了 API 使用，也是只懂表面知识，没有了解背后的原理，很容易就忘记了。
前两篇文章我们介绍了如何使用GPU编程执行简单的任务，比如令人难以理解的并行任务、使用共享内存归并（reduce）和设备函数。为了提高我们的并行处理能力，本文介绍CUDA事件和如何使用它们。但是在深入研究之前，我们将首先讨论CUDA流。
移动开发中，任何一个应用都或多或少的有列表的存在，列表的上下滑动直接关系到用户体验。如果处理不好，就会使得列表滑动起来有明显的卡顿效果。所以对列表的优化，让它更加的顺滑，就成了移动开发工程师们一直努力的方向。下面就说说一些通用的列表优化，很多优化还是要到具体的列表环境中。欢迎交流。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
