开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

RealityKit -如何为自然光线创建阴影捕获器？

RealityKit是苹果公司推出的一款用于增强现实（AR）应用开发的框架。它提供了一系列工具和功能，帮助开发者在iOS设备上创建沉浸式的AR体验。

在RealityKit中，为了为自然光线创建阴影捕获器，可以按照以下步骤进行操作：

创建一个ARView实例，用于显示AR场景。
创建一个ARConfiguration实例，用于配置AR会话。
创建一个ARWorldTrackingConfiguration实例，并将其设置为ARConfiguration的属性，以启用AR世界跟踪。
创建一个ARView的delegate，并实现ARViewDelegate协议中的相关方法。
在ARViewDelegate的willRenderScene方法中，获取ARFrame的lightEstimate属性，该属性提供了关于当前环境光照的估计信息。
使用lightEstimate中的sphericalHarmonicsCoefficients属性，可以获取到环境光照的球谐系数。
创建一个ARView的environment对象，并将球谐系数设置为其sphericalHarmonics属性。
创建一个ARView的environment对象的background对象，并将其lightingEnvironment属性设置为环境对象。
创建一个ARView的environment对象的background对象的shadow对象，并将其shadowCastingMode属性设置为ARView.ShadowCastingMode.estimatedWithSceneDepth，以启用阴影捕获。
将ARView的environment对象的background对象的shadow对象设置为ARView的environment属性。

通过以上步骤，我们可以为自然光线创建阴影捕获器，从而增强AR场景的真实感和逼真度。

腾讯云相关产品和产品介绍链接地址：

腾讯云AR开放平台：https://cloud.tencent.com/product/ar
腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
腾讯云云数据库MySQL版：https://cloud.tencent.com/product/cdb_mysql
腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos
腾讯云人工智能：https://cloud.tencent.com/product/ai
腾讯云物联网平台：https://cloud.tencent.com/product/iotexplorer
腾讯云移动开发平台：https://cloud.tencent.com/product/mpp
腾讯云区块链服务：https://cloud.tencent.com/product/tbaas
腾讯云游戏多媒体引擎：https://cloud.tencent.com/product/gme
腾讯云音视频处理：https://cloud.tencent.com/product/mps

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

苹果、Facebook的AR战略揭秘：布局AR内容，硬件还在研发

“动态环境照明控制”专利而“全景光场捕捉、处理和显示”专利，则透露出未来苹果设备可能会配备可以捕获光线方向的摄像头。...手机摄像头通过光线强度调整曝光，再经由全景光场捕获，全景镜头即可用于创建AR内容。...通过使用真实的和基于物理的材质、环境反射、背景阴影、相机噪点、运动模糊等来将虚拟内容与现实世界高度融合。...《RealityKit 2》的新增内容包括：Object Capture对象捕捉、自定义着色器、自定义系统、动态asset、角色控制器。此外，苹果最新地图应用《Maps》也正式接入AR导航功能。...AR滤镜作为一种营销、社交、娱乐的工具，在Facebook推动下不断在优化，功能和玩法更多样化，而且效果更加自然。

1.1K8 0

一文看完 WWDC 2022 音视频相关的更新要点丨音视频工程示例

2）播放及交互体验新的播放器设计总体上遵循 Intuitive、Integrated、Content forward 三个原则。在很多细节设计上更符合人们对现实世界的习惯，能被更自然的理解。...ScreenCaptureKit 提供了丰富的功能，包括高度可定制的内容控制，可以轻松选择要捕获的窗口、应用程序和显示的任意组合；能够捕捉到屏幕内容的原始分辨率和帧率；动态设置流属性，如分辨率、帧速率、...此外，ScreenCaptureKit 支持：捕获由 GPU 内存支持的缓冲区以减少内存副本；支持硬件加速的内容捕获、缩放、像素和颜色格式转换，以降低 CPU 使用率来实现高性能捕获；支持视频和音频捕获...展示了如何使用 Object Capture 框架捕获物体，将它们添加到 Xcode 中的 RealityKit 项目，应用程式化着色器和动画，并将它们用作 AR 体验的一部分。...还介绍了使用 ARKit、RealityKit 和 Object Capture 时的最佳实践。要做好对象捕获，有几点需要注意：选择具有正确特征的对象：物体表面要有足够的纹理。

2.6K1 0

NeurIPS 2022 | 利用多光照信息的单视角NeRF算法S^3-NeRF，可恢复场景几何与材质信息

目前图像 3D 重建工作通常采用恒定自然光照条件下从多个视点（multi-view）捕获目标场景的多视图立体重建方法（Multi-view Stereo）。...神经场景表征方法使用多层感知器（MLP）对连续 3D 空间进行建模，将 3D 点映射到如密度、颜色等的场景属性。...为了更好地利用捕获的光度立体图像，我们使用反射场（reflectance field）对表面几何和 BRDF 进行显式建模，并采用基于物理的渲染来计算场景 3D 点的颜色，并通过立体渲染得到该光线（ray...然而，考虑一条光线上所有采样点的可见性计算成本较大，因此我们通过计算光线追踪得到的表面点的可见性来优化阴影建模。...通过不同光照下产生的阴影，我们可以观察到其阴影的形状各不相同，这些反应了正视图中不可见区域的几何信息。光线通过映射在背景中的阴影对物体的背面轮廓产生了一定的约束。

7402 0

Three.js深入浅出：4-three.js中的光源

平行光的光线是平行的，不会随距离的增加而发散。平行光可以产生明显的阴影效果，并常用于模拟室外自然光。您可以设置平行光的颜色、强度和方向来调整光照的效果。...点光源可以产生明显的阴影效果，并常用于模拟人造光源，如室内灯光。您可以设置点光源的颜色、强度和位置来控制光照的效果。...您可以设置光源的属性，如颜色、强度、位置、方向和角度等，以及阴影的开启和关闭，来实现所需的光照效果。...通过调整光的颜色和强度，您可以创造出不同的光照效果，如自然光或彩色灯光。 2.2 光的位置和方向光的位置和方向决定了光线的传播方式。... // 现在浏览器支持ES6语法，自然包括import方式引入js文件 import * as THREE from '.

4811 0

【visionOS】从零开始创建第一个visionOS程序

从那里，添加特定于visionOS的SwiftUI场景类型，如卷和空间。这些场景类型让你融入深度，3D对象和身临其境的体验。...在模拟器中运行你的应用程序，以验证你的内容看起来像你期望的那样，并在设备上运行它，以看到你的3D内容栩栩如生。围绕一个或多个场景组织内容，这些场景管理应用程序的界面。...创建你的Xcode投影页面链接在Xcode中选择File >新比;项目。导航到模板选择器的visionOS部分，并选择App模板。当出现提示时，为项目指定一个名称以及其他选项。...视图闭包中的代码为球体创建一个RealityKit实体，在球体表面应用纹理，并将球体添加到视图的内容中。...向支持交互的RealityKit实体添加碰撞形状。 targetedToAnyEntity()修饰符提供了手势识别器和RealityKit内容之间的桥梁。

8884 0

真透视眼！西北大学开发新全息成像设备，用算法重构散射光，未来可透过皮肤看血管

西北大学麦考密克工程学院电子和计算机工程研究助理教授Willomitzer解释说，这是因为“经过骨骼的光线在组织内向各个方向散射，完全模糊了阴影图像。”...反过来说，如果能够“捕获”这些散射的光，那么是否就可以根据这些光场重建物体的三维形状？事实上，这正是Willomitzer和他同事的研究方向。...11月17日他们在《自然通讯》杂志上发表的一篇研究显示，他们提出了一种叫做合成波长全息术（synthetic wavelength holography）的新方法，并发明了一个装置，通过将相干光间接散射到隐藏物体上...把墙壁变成镜子因为光只能在直线上传播，所以必须有一个不透明的屏障（如墙、灌木或汽车），以便这个新设备能够看到拐角处。光线从传感器单元（可以安装在汽车顶部）发出，从屏障反弹，然后击中拐角处的物体。...然后光线反射回屏障，最终返回到传感器单元的探测器。 Willomitzer说：“这就像我们可以在每一个遥远的表面安装一个虚拟的计算机摄像机，从表面的角度看世界。”

3922 0

最新 iOS 框架整体梳理（三）

创建，分发和更新电子钱包应用的通行证。...该环境附带了用于创建，擦除和选择线条的工具。...专为增强现实技术开发的一款新的高级框架，它可以处理渲染的所有方面，包括材质、阴影、反射，甚至相机的运动模糊。...iOS端使用replaykit录制屏幕的技术细节官方文档 83、SafariServices 这个框架看前面的Safari就知道和Safari浏览器相关了，你可以把浏览器集成到项目中然后浏览器上面能做的事你都可以做...官方文档 84、SceneKit 在前面说RealityKit框架的时候有提过这个框架，还是那句话它和RealityKit还有ARKit都是处理AR方面的内容的，你了解其中一个的时候回自然的了解到别的框架

1.7K1 0

苹果推出突破性新技术，使开发人员更加轻松快捷地创建应用

ARKit 3，RealityKit和Reality Composer是高级工具，旨在让开发人员更轻松地为消费者和商业应用创建引人入胜的AR体验。...借助动作捕捉，开发人员可以将人们的动作集成到他们的应用程序中，通过人物遮挡，AR内容将自然地显示在人们面前或后面，以实现更加身临其境的AR体验。...它还具有动画、物理和空间音频功能，开发人员可以使用新的RealityKit Swift API利用RealityKit的功能。...现在Core ML支持100多个模型层，应用程序可以使用最先进的模型，以前所未有的方式提供深刻理解视觉，自然语言和语音的体验。开发人员第一次可以使用模型个性化更新设备上的机器学习模型。...MapKit现在为开发人员提供了许多新功能，如向量叠加，兴趣点过滤，摄像机缩放和声像限制，以及对黑暗模式的支持。

2.1K2 0

英伟达光线追踪技术及RT core、Tensor core

Tests）和投射阴影的计算。...它们被用于执行去噪操作，借助AI技术减少光线追踪产生的噪点，使得即使在较低的采样率下也能获得更清晰、更自然的图像。...实时光线追踪的优势 - 逼真光照与阴影：光线追踪技术能够精确模拟光线在环境中的传播，产生自然的阴影、反射和全局光照效果，使得游戏世界看起来更加贴近现实。...NVIDIA Tensor Core 英伟达（NVIDIA）的Tensor Core是一种专为加速人工智能（AI）、深度学习以及高性能计算（HPC）中常见的大规模矩阵和张量运算而设计的处理器核心。...它们大大加快了这一过程，使得游戏和应用程序能够在实时环境中实现复杂的光照效果，如精确的阴影、反射、折射和全局光照。 2.

1.2K2 0

英伟达引爆AI PC革命，RTX给1亿打工人送算力！40系卡秒生百张图，「黑神话：悟空」画质爆表玩家颤抖

游戏开发者们可以利用生成式AI创建自己的游戏MOD、重制游戏助手、自动捕获游戏场景。可以在NVIDIA Ominiverse中，通过生成式AI重制物体材质。...更丰富细致的全景光线追踪效果，可以让全局光照、反射、环境光遮蔽和阴影得到全面优化，而DLSS 3.5的光线重建技术，会让这些效果进一步增强。...此外，光线重建还会从训练数据中识别光照模式，例如全局光照或环境光遮蔽等，并在游戏中重新创建。其最终效果比需要人工设计的降噪器更出色。...同时，还为商业应用创建了栩栩如生的数字化身。其中就包括，用于语音和动画的NVIDIA ACE、用于语言功能的NeMo，以及RTX渲染技术。...这些技术都将成为开发者创建，AI驱动的自然语言交互的数字人的基石。去年GTC大会上，老黄发布会上直接与游戏NPC实时对话，网友表示这简直颠覆了整个游戏行业。

1721 0

手把手教你生成一幅好看的AI图片

例如：“她有着一头飘逸的栗色长发，自然地披在肩上。” 配饰（Accessories）：包括人物所佩戴的任何饰品或配件，如耳环、项链、手镯等。例如：“她戴着一条简约的银色项链，增添了一丝优雅。”...图形设计Graphic Design：使用图形元素如形状、颜色和文本来传达信息或创建视觉效果，例如标志、海报、名片等。...环境光（Ambient Light）：全局光（Global Illumination）：均匀分布在整个场景中的光线，用于强调整体亮度和阴影，提供自然和平衡的照明。...方向光（Directional Light）：模拟特定方向的光源，如太阳或其他主要光源，产生明确的阴影和高光。...特殊效果（Special Effects）：阴影和高光（Shadows and Highlights）：通过调整光源的位置和强度，创建深度和立体感，强调对象的形状和纹理。

1201 0

【笔记】《计算机图形学》(13)——更多光线追踪

由于这个发出多条射线的过程可以并行分配给多个处理器分布式处理因此这也是分布式光线追踪名称的一个含义。...为了优化这个问题最简单的解决方案自然就是超采样反走样。...13.4.2 Soft Shadows 软阴影在现实中很少有阴影的边缘是完全锐利的，这本质上是因为现实中的光源并非没有自身面积，也就是并不是理想点光源：由于发光的是一个区域，光线并不能完全保证朝向，再加上光线在物体边缘可能发生的衍射...在上图中我们可以看到，我们说传统上的阴影算法没有软阴影实际上就是缺少了左右两个区域也就是缺少了半影。为了添加上这个半影光栅化渲染中进行了很多的尝试和研究，但是光线追踪并不需要那么复杂的处理。...具体来说，对于场景中会移动的物体，首先设置一段采样时间，然后当光线追踪成像的时候对给随机射线附加一个随机的时间参数，将场景设置为那个随机时间的时候物体的状况，此时射线就会捕获到时刻的物体。

1.9K3 0

上线一天销售额超15亿！《黑神话：悟空》火爆全网的技术秘诀！

极致的沉浸式游戏体验《黑神话：悟空》中的完全光线追踪全光线追踪是一种要求高，高度精确的渲染光线对场景的影响的方法。被视觉效果艺术家用来创建与现实难以区分的电影和电视图像。...借助多重反射光线追踪间接照明，自然色光可在《黑神话：悟空》的世界中反射多达两次，从而产生更逼真的间接照明和遮挡。...焦散模拟了现实生活中光线被水、曲面和物体反射和折射的效果，在附近的表面（如河床）上形成独特的光线图案。借助光线追踪，可以准确逼真地重现这种效果，巧妙地增强了《黑神话：悟空传》的真实感和沉浸感。...对比视频阴影是关键的视觉线索，光线追踪后，附近的物体投射出完整而扎实的阴影，而远处结构和嵌套结构的精细细节也可以解析，从而获得更加逼真的图像。...对比视频《黑神话：悟空》通过DLSS 3加速DLSS 3使用GeForce RTX GPU上的专用Tensor Core AI处理器来提高游戏和应用程序中的图形性能。

1391 0

CVPR2023 | RobustNeRF: 从单张图像生成3D形状

Fleet, Andrea Tagliasacchi 内容整理：陈梓煜简介：神经辐射场（NeRF）学习时数据包含不在图像拍摄期间持续存在的干扰物（如移动物体、光照变化、阴影）时，会出现伪影。...尽管存在挑战，研究界已经设计了几种方法来克服这个问题：如果已知干扰物属于特定类别（例如人），可以使用预训练的语义分割模型将其去除，这个过程不适用于“意外”干扰物，如阴影。...方法传统的NeRF训练损失在捕获光照一致的场景方面非常有效，然而，当场景中存在不在整个拍摄场景中持续存在的元素时会发生什么？...例如，图2描绘了一个包含持久对象（卡车）以及几个瞬时对象（如人和狗）的2D场景。尽管来自三台相机的蓝色光线与卡车相交，但来自相机1和3的绿色和橙色光线与瞬时对象相交。...图2 对离群值的敏感性对于Lambertian场景，光照一致的结构是视角无关的，因为场景辐射仅取决于入射光线。

8694 0

小米米10 Pro相机评测--DXOMARK

在这些情况下，我们将一如既往地重复使用商用设备重复测试，以确认图像质量是否相同。...小米Mi 10 Pro的视频得分为104，是我们用于运动图像捕获的最新顶级设备。...自动对焦系统可在所有光线条件下快速，准确地进行拍摄，但就像静止图像一样，小米的较大图像传感器意味着，与带有较小传感器的相机的镜头相比，Mi 10 Pro镜头中的轻微聚焦误差更加明显；在某些人脸看起来有些柔和的场景中尤其如此...面部偶尔会模糊偶有略微沉闷的颜色，尤其是红色调在画面阴影区域可见的细微亮度噪声 HDR超宽图像和夜间模式下经常出现重影视频优点高效的视频稳定在明亮和弱光下快速准确地自动对焦在明亮的光线下和室内条件下保持良好的细节...缺点有限的动态范围会导致高光或阴影修剪偶尔出现不自然的红色调在弱光下，时间噪声可能会非常令人讨厌明亮和弱光片段中有时会出现锯齿和嘈杂的边缘伪像

4K2 0

基础渲染系列（七）——阴影

（渲染时，投射阴影是一件好事情） 1 定向阴影到目前为止，虽然我们的照明着色器可产生相当逼真的结果，但它会独立评估每个表面片段。它假设来自每个光源的光线最终都会撞击每个片段。...（场景带有阴影） 1.2 阴影贴图 Unity是如何将这些阴影添加到场景中呢？标准着色器显然具有某种方法来确定射线是否被阻挡。通过将光线从场景投射到表面片段，你可以找出点是否在阴影中。...2 投射阴影现在我们知道Unity如何为定向光创建阴影，是时候将其支持添加到我们自己的着色器中了。目前，“My First Lighting”既没有投射也没有阴影。先处理阴影。...当主定向光投射阴影时，Unity将查找启用了SHADOWS_SCREEN关键字的着色器变体。因此，我们必须创建基本pass的两个变体，一个带有此关键字，另一个不带有此关键字。...可以通过在每个顶点上创建这些向量并进行插值来实现。这需要一个附加的内插器。 ? 在片段程序中，我们取光向量的长度，并对其加上偏差。然后，将其除以光线的范围以使其适合0~1范围。

4.1K3 0

Google为Pixel更新HDR，夜间拍摄无「鬼影」，每个像素都是细节

HDR技术可以克服多数相机传感器动态范围有限的缺点，并将图片色调控制在人眼识别范围之内，HDR简单的说就是让你的照片无论高光还是阴影部分细节都很清晰，不用担心过曝和欠曝。...之前Google的HDR技术是基于曝光不足，从而保留了亮部的细节，但却会增加阴影部分的噪点。这种方法适用于动态范围适中的场景，对于极端场景来说不太适用。...HDR成也连拍，败也连拍一个常见的噪点叫Shot noise，与光的粒子性质有关，每拍一张照片，根据曝光时间和光线总量，都会引入噪点。...首先，重新设计连拍的捕获光线的策略。零快门滞后（ZSL）就是这样一种技术，为Pixel上的快速捕获奠定了基础。ZSL在取景器中显示的帧是快门按下之前用于HDR合并的帧。...对于夜间模式来说，取景器不受捕获策略的限制，因为在取景器停止时按下快门后会捕获所有帧，因此此模式可以轻松捕获更长的曝光帧。在这种情况下，HDR捕获了三个长时间的曝光以进一步降低噪音。

1.3K2 1

走过半个多世纪，计算机图形学的发展历程告诉你5毛钱的电影特效究竟多难

计算机动画、3D 建模、着色器、GPU 设计等等。...在这种算法中，当光线从视点发出并撞击到物体上时，会产生最多 3 种类型的光线：反射、折射和阴影。...v=QXbWCrzWJo4 光线追踪算法的提出，使 CGI 生成图像的真实感大大增加，因为它本质上是在试图模拟自然界中光线传播的过程。...这个点集可以由使用者手动创建、根据已有算法创建、或者通过扫描实体创建。初步建模完成后，再通过纹理映射（texture mapping）技术，对建模的物体表面进行优化。...运动捕获，又称运动捕捉或运动捕捉，是记录物体或人的运动的过程。最早在 1978 年的电影指环王中其实就有用到，但由于当时的技术限制，还不能做到对演员的表情等细节进行捕捉。

1.1K5 0

墙变成镜子！美国西北大学华人研发最强透视相机，光波全息成像「看穿一切」

据此，西北大学的研究人员发明了一种新的高分辨率相机，可以透过散射介质，如皮肤、雾，甚至可能是人类头骨等等看到之前他们看不见的东西。...https://www.nature.com/articles/s41467-021-26776-w#Sec2 这项研究发表在11月17日的《自然·通讯》杂志上。...与相关的非视线成像技术相比，西北大学的方法能够以亚毫米精度快速捕获大面积的全场图像。在这种分辨率下，计算相机可以透过皮肤成像，甚至可以看到最微小的毛细血管在工作。...「你看到你手的另一边有一个亮点，理论上，你的骨头应该有一个阴影，揭示了骨头的结构。但是，穿过骨骼的光线在组织内向各个方向散射，完全模糊了阴影图像。」...光线从传感器单元（可以安装在汽车顶部）发出，从障碍物上反射，然后照射到拐角处的物体上。然后，光线反射回屏障，最终返回传感器单元的检测器。

5542 0

街道场景的环境光源估计

这样的混合式环境光照设计自然地与体积渲染相结合。作者进一步设计了一个物理化的的虚拟对象插入方法，该方法可以渲染插入的虚拟对象及其在场景上投射的阴影。...该编码器将LDR全景图编码成天空特征向量，然后解码器将其解码成原始的HDR天空穹顶。该网络首先进行预训练，完成预训练后在之后的光照估计中固定解码器。...由于非投影需要深度信息，我们采用现成的单目深度估计器 PackNet 来预测密集深度图。...我们根据蒙特卡洛采样方法计算交点处的反射光线，渲染公式为：背景阴影渲染：插入的对象会改变场景中的光传播路径并影响背景像素的颜色值，通常会导致阴影。...受经典比率成像技术的启发，我们采用光线追踪为插入的对象生成真实的比率阴影贴图。

1.6K2 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭