现在我们已经完成了正确运行ARKit项目的所有基本设置，我们希望我们的设备能够坐在水平表面上。这是飞机检测。在本节中，我们将学习如何激活平面检测。我们将熟悉锚点以及如何使用它们将对象放置在锚点上。此外，我们将能够在现实生活中看到我们发现的飞机锚。从现在开始，我们将更多地投入到代码中。
三维重建作为环境感知的关键技术之一，可用于自动驾驶、虚拟现实、运动目标监测、行为分析、安防监控和重点人群监护等。现在每个人都在研究识别，但识别只是计算机视觉的一部分。真正意义上的计算机视觉要超越识别，感知三维环境。我们活在三维空间里，要做到交互和感知，就必须将世界恢复到三维。所以，在识别的基础上，计算机视觉下一步必须走向三维重建。本文笔者将带大家初步了解三维重建的相关内容以及算法。
最近，Apple公布了名为ARKit的新增强现实（AR）库。对于许多人来说，它看起来只是另一个优秀的AR库，而不是一个值得关注的技术破坏者。但是，如果你看一下过去几年的AR进展，就不应该太快得出这样的结论。
这次推荐的是ios上的文章，无奈ios上的东西没接触过，权且当做开拓视野了。老规矩，原文如下：
这是关于渲染的系列教程的第12部分。在上一部分中，我们实现啦渲染半透明表面，但是尚未覆盖它们的阴影。现在，我们来解决这个问题。
演示代码 ARKit和CoreLocation：第一部分 ARKit和CoreLocation：第二部分 ARKit和CoreLocation：第三部分
导语：本文提出一种用于深度三维形变模型中特征聚合的可学习模块。当前深度三维形变模型中特征聚合依赖于网格抽取等方法，存在聚合方式无法学习，与模型优化目标不一致等问题，从而限制了模型的表达能力。我们提出了使用基于注意力机制的模块实现对特征聚合方式的学习。在人脸，人体和人手数据集上的实验结果表明，基于注意力机制的特征聚合能有效提升模型的表达能力。
这几天又看了AMIR HERTZ和RANA HANOCKA的2019年的文章，关于如何在三维网格图形上应用卷积神经网络CNN。文章的特点就是能通过池化层下采样模型来提高语义分割的正确率，效果如下面的论文封面图，为了分辨出花瓶的颈或把手，模型被采样成了不同的样子
在我们的第一个hello world ARKit应用程序中，我们设置了我们的项目并渲染了一个虚拟3D立方体，可以在现实世界中渲染并在您移动时进行跟踪。
该文章讲述了作者从一名普通iOS开发者到Apple开发者的历程，包括开发经历、学习Apple官方文档、开发者社区、开发工具、代码仓库、团队协作、总结与收获。\n在开发过程中，作者通过学习Apple的官方文档，了解了Objective-C以及Swift编程语言，并逐渐掌握了iOS开发的核心概念。通过参加技术社区，了解到了ARKit、SceneKit、Core ML等框架，并深入学习了Objective-C与Swift编程语言的基础知识和最佳实践。在开发工具方面，作者使用了Xcode、Instruments、Sketch、Adobe XD、Figma等工具。在团队协作方面，作者通过使用GitHub进行版本控制，与团队成员进行代码共享、沟通、协作。\n通过开发iOS应用，作者深入了解了ARKit、SceneKit、Core ML等框架的原理和最佳实践，并逐渐掌握了基于这些框架的开发流程。同时，作者通过总结与收获，逐渐形成了一套适用于自己的iOS开发学习体系。\n
有幸去 Cupertino 苹果总部参加了 iPhone X 的封闭开发，本文主要分享一下iPhone X上使用 ARKit 进行人脸追踪及 3D 建模的相关内容。
简介 随着，今年苹果在6月的WWDC 2017上发布的ARKit，谷歌也在前不久（8月29日），发布了用于Android平台的AR SDK——ARCore。这弥补了AR在Android市场上的空缺，让无数Android用户激动不已，要知道Android拥有超过20亿活跃设备，如果说ARKit是苹果AR的起点，那么说ARCore掀起了移动AR市场的狂潮，ARCore的横空出世意味着AR进入手机大群体用户的生活成为可能。 大约3年前，Google曾发布一个Tango AR，而ARCore也可以看做是Tango的
这篇教程是基于上一篇 立方体球 的。它复用了同一个网格，并在此基础上做增加更多的测试模型。本示例适用于Unity5.0.1及以上版本。
Unity中，CPU准备好需要绘制的元素，对底层图形程序接口进行调用的过程，每次引擎准备数据并通知GPU的过程称为一次Draw Call。DrawCall越高对显卡的消耗就越大。 降低DrawCall的方法：
Computational Geometry Algorithms Library，CGAL，计算几何算法库。使用C++语言编写的，提供高效、可控的算法库。广泛应用于计算几何相关领域，如地理信息系统、计算机图形学、计算机辅助设计、信息可视化系统、生物医学等。
这次的文章内容关于如何在嵌入空间变形中得到更好插值效果, 由于题目长度限制名字没有写全, 全名是《Phong Deformation: A better C^0 interpolant for embedded deformation》.这篇文章的主要贡献是利用了两种简单的插值方法加权平均得到了更好的插值效果, 整体的计算代价不会那么大却大大提高了嵌入变形的渲染效果, 未来可期.
前面的文章里写过使用sharpGL三维建模生产3D井眼轨迹，这篇文章主要是说一下在WPF中如何进行3d图绘制。
Remesh并没有一个严格的定义，简单的讲，Remesh就是从一个输入网格生成另一个网格，并且满足一定的要求。根据网格改动大小，可以分为这么几类：
深度学习研究的一个新兴领域是致力于将DL技术应用于3D几何和计算机图形应用程序， 对于希望自己尝试3D深度学习的PyTorch用户而言，一个叫Kaolin 库值得研究。对于TensorFlow用户，还有TensorFlow Graphics库。3D技术中一个特别热门的子领域是3D模型的生成。创造性地组合3D模型，从图像快速生成3D模型，以及为其他机器学习应用程序和模拟创建综合数据，这只是3D模型生成的众多用例中的少数几个。
PCL库中的geometry模块主要提供了点云几何计算的工具，geometry模块提供了点云和三维网格（mesh）处理的一些基本算法和数据结构。
本教程假设你已经熟悉Unity Scripting的基本知识了。如果不清楚的可以看 时钟 的章节学习Unity的基础知识。而 构建分形 的章节里也提供了协程的基本介绍。
之前发过一个划分均匀三角形网格的例子。下面结合一个悬臂梁说说如何在规则区域划分均匀矩形网格。 将一个矩形平面区域划分成相同大小的矩形。X方向等分nex，Y方向等分ney，X方向单元长度为dx，Y方向单
很多机器学习的模型都是在图片上操作，但是忽略了图像其实是3D物体的投影，这个过程叫做渲染。能够使模型理解图片信息可能是生成的关键，但是由于光栅化涉及离散任务操作，渲染过程不是可微的，因此不适用与基于梯度的学习方法。这篇文章提出了DIR-B这个框架，允许图片中的所有像素点的梯度进行分析计算。方法的关键在于把前景光栅化当做局部属性的加权插值，背景光栅化作为基于距离的全局几何的聚合。通过不同的光照模型，这个方法能够对顶点位置、颜色、光照方向等达到很好的优化。此项目有两个主要特点：单图像3D物体预测和3D纹理图像生成，这些都是基于2D监督进行训练的。
本教程介绍如何添加对平面着色的支持以及如何显示网格的线框。它使用了高级渲染技术，并假定您熟悉“渲染”系列中介绍的材质。
做游戏经验比较丰富的人都知道，优化的好坏一直是一个游戏的评判标准之一，它直接影响着玩家们的游戏体验，优化一直是项目中开发周期比较长的一个点，也是开发者头疼的一个问题，要求掌握的知识点比较全面，经验也要求比较丰富。 这篇文章参考很多文章的知识点，加以总结与学习，从最基础的概念讲起，配合讲解各种优化技巧，希望大家可以在我的文章中学到一些东西。
今后的几篇郭先生主要说说three.js骨骼动画。three.js骨骼动画十分有意思，但是对于初学者来说，学起来要稍微困难一些，官方文档比较少，网上除了用圆柱体的例子就是引用外部模型的，想要熟练使用骨骼动画就需要不断地探索和练习。这篇是初探three.js骨骼动画，也不深入讲解，先说说它的实现和原理，然后一点一点解读官网案例，骨骼动画官网案例
人们普遍认为，从单一角度合成 3D 数据是人类视觉的基本功能。但这对计算机视觉算法来说极具挑战性。但随着激光雷达（LiDAR）、 RGB-D 摄像头（RealSense、 Kinect）和 3D 扫描仪等 3D 传感器的普及和价格的降低，最新的 3D 采集技术已经取得了巨大飞跃。与广泛使用的 2D 数据不同，3D 数据具有丰富的尺度和几何信息，可以帮助机器更好的理解环境。然而，与 2D 数据相比， 3D 数据的可用性相对较低，而且采集成本较高。因此，近年来许多深度学习方法被提出，可以不依赖任何 3D 传感器，从可用的 2D 数据中合成 3D 数据。在我们深入研究这些方法之前，先了解下要处理的 3D 数据的格式。
该paper是由普林斯顿大学3个英特尔实验室4个复旦大学数据科学学院以及5个腾讯人工智能实验室研究员合作的。来自于复旦大学计算机科学学院上海市智能信息处理重点实验室。该论文已经投中ECCV2018。
STL文件是网格文件的一种格式，分为二进制和文本两种类型。具体来讲，它定义了一群三角面片，比如下面是一个文本的STL示例：
本文探讨网格体的压缩存储与背后的信息论，实现数据库与虚幻引擎（UE）解耦，目的是仅仅将UE作为一个渲染器，让数据与渲染分离，以适应千万级构件的项目需求。
近来在做三维网格编辑相关的工作，于是看了04年的这篇高引用的经典论文，这篇文章在三维中使用拉普拉斯坐标配合多个限制方法实现了效果不错的网格编辑。因为最近太忙了所以现在才抽空写好总结发出来
项目网址：http://hiroharu-kato.com/projects_en/neural_renderer.html
彩色顶点网格的顶点分辨率和色彩分辨率一样，当网格顶点比较少的时候，色彩信息会损失很多，如下图2所示。彩色贴图网格的色彩分辨率取决于纹理贴图的分辨率，与网格顶点分辨率无关，如图3所示，同样的网格，纹理贴图方式可以存储高于网格分辨率的色彩信息。
在本节中，我们将看看如何在后面配置提供的ARKit模板。我们将发现什么是世界跟踪和AR会话。同样，我们将学习如何将一些调试选项应用于场景中的指导。
这是渲染系列的第二篇文章，第一篇讲述的是矩阵，这次我们会写我们的第一个Shader并且导入一张纹理。
这一部分概述了自动驾驶汽车自动化系统的典型体系结构，并对感知系统、决策系统及其子系统的职责进行了评述。
在上一部分，我们介绍了两种简单形变的GPUImage实现方式，包括自定义FragmentShader，和自定义顶点数组。这一部分，我们将介绍更为复杂的一些图像形变的实现。 Part3：基于自定义vertices的局部图像形变设计 区别于Part2中的自定义vertices和fragment数组的简单图像形变，这里的自定义vertices数组不仅仅局限于图像4个顶点，而是可以任意指定的，从而可以达到对图像的局部区域进行细微的形变调整。这里，我们以调整用户的脸型，从而达到蛇精脸的效果为例，如下图所示： 对
基于体积表示的方法在计算上非常浪费，因为信息只在三维形状的表面或其附近丰富。直接处理曲面时的主要挑战是，网格或点云等常见表示没有规则的结构，因此，它们不容易适应深度学习体系结构，特别是使用CNN的体系结构。本节介绍用于解决此问题的技术，将最新技术分为三大类：基于参数化、基于模板变形和基于点的方法。
当导入 glTF 模型到 Creator 时，glTF 中的资源将会按照以下关系转换为 Creator 中的资源：
论文地址：https://arxiv.org/pdf/2102.03725v2.pdf
这个公众号会路线图式的遍历分享音视频技术：音视频基础(完成) → 音视频工具(完成) → 音视频工程示例(进行中) → 音视频工业实战(准备)。关注一下成本不高，错过干货损失不小 ↓↓↓
近日、苹果在WWDC2017上面正式发布了新一代的操作系统，即iOS 11，同时也增加了不少SDK新特性与功能，下面将详细介绍这些新改变。 新增框架 新加入 SDK 的大的框架有两个，分别是负责简化和
小脑很久以来便被认为是与大脑紧密合作的伙伴，而且两者在人类的进化历程中都发生了明显的扩张。薄薄的小脑皮层的折叠程度甚至超过了大脑皮层。近日，发表在《美国科学院院刊》PNAS上的一篇研究论文利用超高强度磁场磁共振成像对一名被试的小脑样本进行扫描，并对其进行计算重构，在空间分辨率上可以达到最小的折叠褶皱水平。结果发现小脑的表面积大约相当于大脑表面积的80%。此外，还对一只猴子的脑重复人类中的处理流程，发现其小脑表面积与大脑的比值要远远低于人类小脑，只占大约33%。这些结果表明，小脑可能与进化史中人类的一些特有行为以及认知能力的发展中扮演者重要的角色。本文接下来便对该研究进行解读。
由于研究的需要这几天看了AMIR HERTZ和RANA HANOCKA新鲜出炉的文章，关于如何利用生成对抗网络从一个三维模型上将它的纹理迁移到另一个三维模型上。效果如下面的论文封面图，长颈鹿从黄色的针刺球上学习到了纹理并将针刺生成到了自己身上，效果还是很不错的
在Unity中，Graphic类的OnPopulateMesh()方法和IMeshModifier的ModifyMesh()方法都是用于绘制网格的函数，但它们在使用时机、功能定位以及使用范围上存在一些区别。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
