这个公众号会路线图式的遍历分享音视频技术：音视频基础(完成) → 音视频工具(完成) → 音视频工程示例(进行中) → 音视频工业实战(准备)。关注一下成本不高，错过干货损失不小 ↓↓↓
visionOS是苹果Vision Pro的操作系统。将visionOS与熟悉的工具和技术一起使用，为空间计算构建沉浸式应用程序和游戏。
先说下使用体验感受，最直观的感觉就是Xcode越来越强大了，这次的更新，像是给Xcode装备了一个3DMax，可以直观地创建3D内容，设置3D内容的交互动作，位置，材质等，实时预览，在代码中方便地调用。对了，这个功能是为了搭配RealityKit使用的。RealityKit将在下一篇文章做详细介绍。
（VRPinea 3月20日讯）近年来，VR进入硬件设备过重、缺乏内容爆款、体验不佳的恶性循环。但AR却在沉寂多年后，重新被业界看好。自2018年下半年开始，随着苹果AR的不断更新，2019年多款消费者AR眼镜的发布，2020年苹果iPad pro加入具有深度探测的激光雷达，AR不再是人们想象中高不可攀的视觉技术。
苹果软件工程高级副总裁Craig Federighi表示，“新应用程序开发技术使开发人员能够更快，更轻松，更有趣地开发应用程序，这代表着在所有苹果平台上创建应用程序的未来。”
苹果为 Vision Pro 打造的 VisionOS 新平台在设计上大量借鉴了现有 3D 与 iOS 工具。但在开发者眼中，这一切是否足够有吸引力？
在Swift 5中Apple发布了大量基于SIMD改进的API，并且新的RealityKit，我们操作虚拟物体的位置、角度，都需要通过simd库来进行了。
这一篇得把介绍框架这个系列终结了，不能超过三篇了，不然太长了..... 还是老规矩，前面两篇的机票在下方：
（VRPinea 12月29日讯）“苹果要发布AR眼镜”，类似的传言从2010年就开始盛行，因为自那时起，苹果便不断收购VR/AR企业，发布相关的专利，CEO库克也多次在公开采访中表示对AR技术的重视。可直到脸书改名Meta，宣布进军元宇宙，我们也没能等来苹果发布AR/VR产品。
Apple Vision Pro 提供了无限的空间“画布”，在画布中用户可以与 App 进行交互，同时与周围环境保持联系，也可以完全沉浸在 App 营造的虚拟空间世界中。这种体验得益于 visionOS 中的空间计算功能。在空间计算的加持下，visionOS App 提供了 3 种不同的形态：窗口（Windows）、空间容器（Volume）与空间（Space）。
（VRPinea 6月28日讯）2021年，虽然疫情给全社会带来的打击仍然存在，但各行业都在慢慢复苏。尤其VR/AR行业，整体态势还是很蓬勃的，不论是在软硬件方面，还是行业内投融资情况，都能看出很多积极的动向。
在刚刚结束的WWDC发布会中，苹果不仅带来了大家期待已久的 iOS 13，还有3个内容的更新我比较关注，分享给大家。
There are three fundamental Kits in iOS development framework named "OpenGL ES", "Metal", "SceneKit" and an extended kit named "RealityKit" for 3d development. The "ARkit" is functional for both 3d and camera display that render a 3d scene in the camera e
Apple 于 8 月 18 日发布了面向开发者的 iOS 14 beta 5 和 iPadOS 14 beta 5。开发者可以在 设置 -> 通用 -> 软件更新 中安装更新。
文章：Monocular Object and Plane SLAM in Structured Environments
11月到12月，使用新出的ARkit开发了一个AR游戏，梳理下开发过程的经验，整理成文。 计划是一个系列，入门篇主要是收集的资料整合。
论文标题：PlaneTR: Structure-Guided Transformers for 3D Plane Recovery
本文提出了一种基于大规模无序点云的三维线段检测算法。与传统的方法先提取三维边缘点后在拟合三维线段的算法相比，本文提出了一种基于点云分割和二维线段检测的基础上，能够快速的实现三维线段检测算法。在输入无序点云的情况下，对三维线段进行三步检测。首先，通过区域生长和区域合并将点云分割成三维平面。其次，对每个三维平面，将其所属的所有点投影到平面上形成二维图像，然后进行二维轮廓提取和最小二乘拟合得到二维线段。然后将这些二维线段重新投影到三维平面上，以获得相应的三维线段。最后，提出了一种剔除异常点和合并相邻三维线段的后处理方法。在多个公共数据集上的实验证明了该方法的有效性和鲁棒性。
共面性检测网络为解决这一问题提供了新的思路，并能够显著提升三维场景重建的质量。目前这项研究工作已被欧洲计算机视觉大会 (ECCV 2018) 收录，并被邀请赴会进行口头报告 (Oral Presentation)。
在我们的第一个hello world ARKit应用程序中，我们设置了我们的项目并渲染了一个虚拟3D立方体，可以在现实世界中渲染并在您移动时进行跟踪。
Demo功能很简单，打开之后自动检测平面，手指触摸平面会在触摸位置放置一个机器人。
此示例应用程序运行ARKit世界跟踪会话，其内容显示在SceneKit视图中。为了演示平面检测，应用程序只需放置一个SCNPlane对象来可视化每个检测到ARPlaneAnchor对象。
最近，Apple公布了名为ARKit的新增强现实（AR）库。对于许多人来说，它看起来只是另一个优秀的AR库，而不是一个值得关注的技术破坏者。但是，如果你看一下过去几年的AR进展，就不应该太快得出这样的结论。
文章：Multi-level Map Construction for Dynamic Scenes
基于计算机视觉的金属材料表面缺陷检测是冶金工业领域的研究热点。在金属制造行业中，高标准的平面质量要求自动视觉检查系统及其算法的性能必须不断提高。本文基于对钢，铝，铜板和带钢的一些典型金属平面材料产品的160多种出版物的综述，试图对二维和三维表面缺陷检测技术进行全面的综述。根据算法的属性和图像特征，现有的二维方法分为四类：统计方法，光谱方法，模型方法和基于机器学习的方法。在三维数据采集的基础上，三维技术分为立体视觉，光度立体，激光扫描仪和结构化光测量方法。本文将分析和比较这些经典算法和新兴方法。最后，对视觉缺陷检测的剩余挑战和未来的研究趋势进行了讨论和预测。
在现实生活，平面，线和圆柱体是非常常见的结构，目前已有工作做了类似于BA的平面adjustment(即.PA)，但是这类工作在缺少平面的场景效果很差，为了增强系统的鲁棒性，引入更多的特征是有必要的，因此作者在本文中引入了额外的线和圆柱体特征，并且实现了平面-线-圆柱体-adjustment(即. PLCA)，并且证明了可以通过预处理使得PLCA独立于点云的大小，从而实现系统的实时性。
点积具有带有单位向量的另一个有趣的属性。想象一下，垂直于该矢量（并通过原点）的平面通过了一个平面。平面将整个空间分为正数（在平面上）和负数（在平面下），并且（与流行的看法相反），您还可以在2D中使用其数学运算：
同步定位和建图(SLAM)是实现机器人在未知环境下的定位和移动的重要技术方法[1]。定位精度是井下巡检的核心指标，高精度的定位算法是巡检过程中导航和避障的基础。但井下环境复杂，具有低照度、弱纹理、图像特征难以识别的特点[2]，给基于视觉的SLAM算法带来了极大的困难。而激光SLAM算法测量距离远、精度高，利用环境的结构特征进行定位[3]，在井下环境中更具应用前景[4-5]。
今年7月Apple推出了AR工具ARKit，着实闪着了大家的眼睛。从目前的评测可以知道 ARKit已经非常成熟，完全可以进行商用了。
现在我们已经完成了正确运行ARKit项目的所有基本设置，我们希望我们的设备能够坐在水平表面上。这是飞机检测。在本节中，我们将学习如何激活平面检测。我们将熟悉锚点以及如何使用它们将对象放置在锚点上。此外，我们将能够在现实生活中看到我们发现的飞机锚。从现在开始，我们将更多地投入到代码中。
在上一篇文章中，我们使用ARKit来检测现实世界中的水平平面，然后将这些平面可视化。在本文中，我们现在将开始为我们的AR体验添加虚拟内容，并开始与检测到的平面进行交互。
最近在解决三维问题时，需要判断线段是否与立方体交叉，这个问题可以引申为：射线是否穿过立方体AABB。 在3D游戏开发中碰撞检测普遍采用的算法是轴对齐矩形边界框(Axially Aligned Bounding Box, AABB)包装盒方法,其基本思想是用一个立方体或者球体完全包裹住3D物体对象，然后根据包装盒的距离、位置等相关信息来计算是否发生碰撞。 slab的碰撞检测算法 本文接下来主要讨论射线与AABB的关系，主要对box2d碰撞检测使用的slab的碰撞检测算法(Slabs method
文章：STD: Stable Triangle Descriptor for 3D place recognition
恒虚警率CFAR是ConstantFalse-AlarmRate的缩写。在雷达信号检测中，当外界干扰强度变化时，雷达能自动调整其灵敏度，使雷达的虚警概率保持不变，这种特性称为恒虚警率特性。恒虚警率检测是雷达目标自动检测的一个重要组成部分，作为从雷达中提取目标的第一步，是进一步识别目标的基础。虚警率是指侦察设备在单位时间内将噪声或其他干扰信号误判为威胁辐射源信号的概率。而恒虚警率检测则证明了检测算法的稳定性和可靠性。
在建筑平面图的分析中，一些复杂的平面图总是会让人感到头晕脑胀，不同的标注方式以及不同的图形符号更难以让普通人去解读。
对于每个平面空间的像素点坐标（x，y）， 随着角度θ的取值不同，都会得到r值， （%+++%要点.B）而对于任意一条直线来说，在极坐标空间它的（r，θ）都是固定不变的， 则对于边缘图像的每个平面空间坐标点可绘制极坐标的曲线如图所示：
这是今年的一篇针对高分辨率的固态激光雷达（非重复性扫描型）或者多线的激光雷达和相机在无标定板的环境中自动化外参标定的一篇文章。本文的方法不需要基于巧克力板，只依赖两个传感器采集的环境中的线特征就可以得到像素级精度的标定结果。在理论层面，作者分析了边缘特征提供的约束和边缘特征在场景中的分布对标定精度的影响。同时，作者分析了激光雷达的测量原理，并提出了一种基于点云体素分割和平面拟合的高精度的激光雷达点云边缘特征提取的方法。由于边缘特征在自然场景中很丰富，所以作者在室内和室外多个数据集上进行了实验并取得了不错的效果。
今年，Apple发布了ARKit 2的新功能。其中之一就是图像检测。这是一个非常酷的功能，允许您在用户的环境中跟踪2D图像，并在其上放置增强现实内容。在本课程中，您将学习如何通过检测您喜欢的任何图像以及如何在呈现模型时更改模型的材质，将您自己的3D模型放置在任何对象之上。
在上一篇文章72. 三维重建7-立体匹配3中，我为你介绍了几种用能量函数最小化得到视差图的方法，以及基于局部一致性约束的视差处理方法。这些方法都在标准测试数据集上得到了不错的成绩。然而，即便是其中最优秀的方案，得到的结果依然包括一些错误，我们需要一些方法能够纠正这些错误，或至少要标识这些错误像素。与此同时，到目前为止我们看到的方法都是认为视差值是基于离散的像素的整数型的，这显然是很粗糙的，尤其是对三维测量准确度很敏感的应用，整数型的视差值显然无法满足要求，我们需要方法能够得到浮点数型的视差值。
这是一位公众号关注者经过一段时间的整理与努力发出了一篇论文，在我的追问与交流下，让这位学生写了一篇总结分享给大家，再次感谢吧，同时有觉得对你很受用的话，请点赞支持！
我原来总结过LOAM_Livox，这篇文章主要是解决LOAM在长时间运行的时累计误差的问题。本文提出的方法计算关键帧的2D直方图，局部地图patch，并使用2D直方图的归一化互相关(normalized cross-correlation)作为当前关键帧与地图中关键帧之间的相似性度量。这个方法快速且具有旋转不变性，鲁棒性高。
在这一篇文章中我们将学习使用OpenCV中的 HoughLines 函数和 HoughLinesP 函数来检测图像中的直线.
论文地址： https://arxiv.org/pdf/1902.09777.pdf
其实关注 ARCore也蛮久了，但一直没有腾出时间来写个总结。正好应朋友之约，我们今天就来好好聊一聊 ARCore.
这次推荐的是ios上的文章，无奈ios上的东西没接触过，权且当做开拓视野了。老规矩，原文如下：
霍夫变换是检测直线或者圆的一种比较简单的方法。霍夫变换检测直线是比较简单的，做完以后是一个二维平面上的许多曲线，通过统计平面上交点的个数，就可以得出哪些点事处于同一条直线上的。
在本文中，我们提出了用于访问安全上下文的灵活抽象层概念。它旨在通过部署在云应用程序和IoT设备中的轻量级检查和执行挂钩来编程和收集数据。
标题：Stereo Plane SLAM Based on Intersecting Lines
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
