文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

一文看完 WWDC 2022 音视频相关的更新要点丨音视频工程示例

激光雷达和其他摄像头配合使用可以在拍摄景深图像和视频、增强现实等场景中实现更强大的功能。...为创意相机创建扩展 像这样的创意相机可能会需要一个配置程序来控制合成、过滤器的参数。...其中 RoomCaptureView API 使用 RealityKit 实时呈现扫描进度，可以轻松地将扫描体验集成到应用程序中。...1）4K 视频 在为 ARKit 拍摄图像时，使用了图像传感器上一个 3840x2880 像素的区域，在捕获图像后，做了一个 Binning 的过程：对每个 2x2 像素的区域，平均像素值，然后写回单个像素...AVQT 的 HTML 报告 2）支持对视频指定时间段的内容进行评分 另一个新功能是可以给要评估的视频和参考视频指定时间窗口（通过指定帧数），从而可以只关注这个视频中的某些片段或特定场景的质量。

2.5K10

ARKit 简介

增强现实（AugmentedReality，简称 AR），是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。...处理器A9及以上（6S机型及以上） 实现步骤 一个简单的AR场景实现所需要的技术和实现步骤如下： 1.多媒体捕捉现实图像：如摄像头 2.三维建模:3D立体模型 3.传感器追踪:主要追踪现实世界动态物体的六轴变化...而ARKit的核心就是ARSession，下面我们将一步步实现一个简单的ARKit场景。...ARKit提供了两种主要AR技术Content Technology 分别是： Scenekit： 基于3D场景 SpriteKit：基于2D场景 3，然后系统就为我们新建了一个简单的项目和场景..."]; // Set the scene to the view //设置ARKit的场景为SceneKit的当前场景（SCNScene是Scenekit中的场景，类似于UIView）

2.5K60
您找到你想要的搜索结果了吗？
是的
没有找到

ARKit和CoreLocation：第一部分

image.png ARWorldTrackingConfiguration：用于跟踪设备方向，位置和检测相机记录的特征点（如相机记录的表面）的配置。...运行会话配置时，ARKit会根据设备的位置和方向创建场景坐标系; ARAnchor您创建的任何对象或AR会话检测到的对象都是相对于该坐标系定位的。 ?...您不一定需要使用ARAnchor该类来跟踪添加到场景中的对象的位置，但通过实现ARSCNViewDelegate方法，您可以将SceneKit内容添加到ARKit自动检测到的任何锚点。...您可以使用其 radius 属性在所有三个维度中定义球体的大小。 SCNGeometry：可以在场景中显示的三维形状（也称为模型或网格），附加材料定义其外观。...imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) 如上所述： 向量只是一个数字数组 如您所见，矩阵看起来类似于数字数组。

2.2K20

ARKit

SDK iOS 11.0+ 概观 一个增强现实（AR）描述了用户体验，从设备的摄像头的方式，使这些元素似乎居住在现实世界中添加2D或3D元素到实时取景。...例如，您可以在摄像机视图中显示用户的面部并提供逼真的虚拟遮罩。您还可以省略摄像机视图并使用ARKit面部表情数据为虚拟角色设置动画，如iMessage的Animoji应用程序中所示。...建立您的第一个AR体验 创建运行AR会话的应用程序，并使用平面检测使用SceneKit放置3D内容。 了解ARKit中的世界跟踪 发现支持概念，功能和最佳实践，以构建出色的AR体验。...protocol ARTrackable 场景中的真实世界对象，ARKit跟踪位置和方向的变化。 相机和场景细节 class ARFrame 具有位置跟踪信息的视频图像作为AR会话的一部分被捕获。...使用ARKit实时使用Vision 管理Vision资源以有效执行Core ML图像分类器，并使用SpriteKit在AR中显示图像分类器输出。

2.2K20

ARKit by Example - 第1部分：AR立方体

这篇第一篇文章将使用ARKit创建一个非常简单的hello world AR应用程序。最后，我们将能够在增强的世界中定位3D立方体，并使用我们的iOS设备移动它。...要在ARKit中呈现3D内容，我们将使用SceneKit：https：//developer.apple.com/scenekit/这是一个在iOS设备上渲染3D图形的框架。...ARKit核心课程 ARSCNView  - 辅助视图，有助于使用SceneKit渲染的3D内容增强实时摄像机视图。...这堂课有几件事： 从视图中的设备相机渲染实时视频流，作为3D场景的背景 ARKit的3D坐标系与SceneKit的3D坐标系匹配，因此在此视图中渲染的对象将自动匹配增强的ARKit世界视图 自动移动虚拟...要向场景添加内容，首先要创建一些几何体，几何体可以是复杂的形状，或简单的形状，如球体，立方体，平面等。然后将几何体包裹在场景节点中并将其添加到场景中。然后SceneKit将遍历场景图并渲染内容。

1.2K30

ARKit 的配置-在您的AR项目的幕后

在本节中，我们将看看如何在后面配置提供的ARKit模板。我们将发现什么是世界跟踪和AR会话。同样，我们将学习如何将一些调试选项应用于场景中的指导。...世界跟踪配置 在ViewWillAppear中，设置了ARKit的重要配置。 该ARWorldTrackingConfiguration通过使用其照相机赠送设备的位置和方向，以及它的运动，并将此。...已定义一个称为配置的新会话配置， 以允许进行世界跟踪。 AR会话 然后，我们需要使用刚刚设置的配置运行会话。 一个ARSession允许您运行和应用不同的技术。...会话使用其会话实例控制所有处理，并由场景视图自动创建。当您开始体验时，会话开始。 你能告诉我另一个用于ARKit的流行技术的例子吗？让我给你一个提示：Animoji。...顺便说一句，您也可以单独显示它们而不使用方括号。 世界原点 世界原点是视图加载时摄像机的起始位置。您可以使用箭头看到它，就像在场景编辑器中一样。如果您四处移动，会话会记住该位置，使其保持静止。 ?

2.5K20

使用ARKit开发AR游戏-基础篇：ARKit入门篇

| 导语 11月到12月，使用新出的ARkit开发了一个AR游戏，梳理下开发过程的经验，整理成文。 计划是一个系列，入门篇主要是收集的资料整合；探索篇（经验篇）坑及个性探索说得。...运行的AR会话连续从设备摄像机捕获视频帧（Frame）。对于每一帧，ARKit会将图像与来自设备的运动感应硬件的数据一起分析，以估计设备的现实位置和方向。...arkit9.jpg 主要功能：ARKit的场景理解系统的一些功能 平面寻找 使用稀疏点云提取和创建平面。...ExistingPlane：已经在场景中检测的平面锚点（使用planeDetection选项检测），不管平面的大小。         ...ExistingPlaneUsingExtent：已经在场景中的平面锚点（使用planeDetection选项检测），需要考虑平面的有限的大小。

4.4K51

ARKit浅析V1.0

增强现实技术（Augmented Reality，简称 AR），是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。...（SceneKit是苹果在iOS8中集成的一套3D引擎框架） 下图是ARKit中主要类的关系图： ? 上图中，ARSCNView可以认为是一个容器，代表的就是看到的现实世界。...以下是一段代码，可以简单的展示一个虚拟物体: 1）首先需要为ARSession 配置运行参数，参数其实挺简单。 ? 2）使用SCNScene加载3D模型，然后设置成主场景。 ?...3）上面使用的是简答的设置主场景的方式，还可以通过addChildNode的方式加载 ? 从上述代码中可以看到，使用ARKit显示一个3D的虚拟物体 其实很简单。...，主要就是追踪相机的配置 4 ARAnchor ARAnchor表示一个物体在3D空间的位置和方向。

1.7K50

WWDC19苹果发布会，谁说程序员不能做设计？SwiftUI、AR 3 、ML 3

Swift加入了新的框架SwiftUI，可以直接在Xcode 11中调整UI外观，操作体验类似于Playgrounds。...Swift UI支持实时预览应用，在预览中的更改能够实时反映在编码中，直接在敲代码的时候完成设计。 所见即所得的完成UI设计，而且还无缝对接到代码。...在设计开发一个app的工作流中，设计稿、需求文档这一环节都被干掉了，设计师可以直接把设计稿完成，给程序员，程序员不用再为1px复现设计稿而烦恼了。...02 AR kit3 利用 ARKit 3，新的 RealityKit 框架，还有新的 Reality Composer app 中的非凡进步，轻松制作原型，创造先进前沿的 AR 体验。...尤其值得注意的是，在这一特性支持下，苹果称为 People Occlusion 的技术可以将真人更好地融入 AR 场景中，并且和 AR 世界产生相应的位置、光影关系，这意味着你既可以从摄像头看到的 AR

1.1K20

ARKit 初探

ARKit主要负责AR计算，它将ARCamera捕获的视频帧当作背景，使用视觉惯性测距（VIO）来精确跟踪周围的世界，进行坐标转换，场景搭建及平面的捕获；然后，通过 SceneKit(3D)/SpritKit...通过 ARSession的属性currentFrame来获取。 ARConfiguration 该类的作用是设置一些 ARSession 相关的配置，如是否使用平面检测就是通过这个参数来设置的。...ARKit.png SceneKit 的主要作用是将虚拟物体展示在3D场景中。...我们可以通过这个代理方法得知我们添加一个虚拟物体到AR场景下的锚点（AR现实世界中的坐标） SCNNode SCNNode代表一个虚拟物体。...SCNScene 在ARKit中它代表一个场景。SCNScene 包括背景 和 虚似物体。其中背景可以是从 ARCamera捕获的视频帧。

2.3K20

《iPhone X ARKit Face Tracking》

由于不同的AR体验对iOS设备有不同的硬件要求，所有ARKit配置要求iOS设备至少使用A9及以上处理器，而face tracking更是仅在带有前置深度摄像头的iPhone X上才会有。...当我们配置使用ARFaceTrackingConfiguration，session会自动添加ARFaceAnchor对象到其anchor list中。...ARFaceAnchor 前面说过，当我们配置使用ARFaceTrackingConfiguration，session会自动添加ARFaceAnchor对象到其anchor list中。...ARKit Face Tracking的场景，此时前置摄像头已经开启并实时检测/追踪人脸信息。...因此我们需要渲染一个用来遮挡的node并实时更新其几何信息，使用户在头歪向一边的时候3D眼镜的镜架能被人脸正确遮挡。 - (SCNNode *)occlusionMaskNode { if (!

1.9K30

平面检测-搜索真实世界的表面

现在我们已经完成了正确运行ARKit项目的所有基本设置，我们希望我们的设备能够坐在水平表面上。这是飞机检测。在本节中，我们将学习如何激活平面检测。我们将熟悉锚点以及如何使用它们将对象放置在锚点上。...水平平面检测 首先，我们需要打开配置的平面检测属性并将其设置为水平，以检测平面（如地板或桌子）。...一个锚是类型的ARAnchor给出关于跟踪的对象的位置，取向和尺寸信息。ARAnchor有意用于在场景上放置虚拟对象。然后为该锚分配一个简称为节点的SCNNode。...您现在正在学习如何在代码中应用它。 飞机位置 所以，就像我们为手表所做的步骤一样，我们需要定位它。将平面节点放在检测到的曲面的中心。...有一种更好的方式来编写它。我想从这种方式开始，使其更容易理解。另一种选择是使用guard语句。Guard是另一种类似于if else语句的控制流。

2.9K30

ARKit 到底怎么实现的

ARKit 重要的类介绍 ARSCNView 显示3D 内容的视图 继承SCNView ,SCNView 继承UIView,所以这个视图可以是任何UIView的子视图,所以你可以像使用UIView一样使用它...ARAnchor 表示一个真实世界的位置和方向,可以将物理模型放置的AR场景中 ARPlaneAnchor 在AR会话中检测到真实世界平面的位置和方向的信息 ARFrame 一个正在运行的...对于每一帧，ARkit分析图像,通过从装置的运动传感硬件来判断设备的实际位置数据 ARCamera 代表 AR会话中捕获的视频帧的摄像机位置和成像特性的信息 ARSessionConfiguration...场景配置,这种配置下,手机位置不动,旋转手机,能够看到,模型相对环境的角度不会改变,但是如果移动手机,模型的位置就会变化 ARWorldTrackingSessionConfiguration...旋转手机或者移动手机,模型的位置和角度都不会变化 接下来演示一个demo 给大家看看 第一步 创建一个工程 ?

1.1K10

VR开发快速入门小诀窍——选对一款VR开发工具让你事半功倍

Sumerian不需要开发者拥有任何编码技能，其操作界面类似于Adobe Photoshop等传统图片编辑软件，拥有一个拖放界面和一个可视脚本工具。...ViroCore主要功能，还包括：使用HDR渲染，光照和阴影创建场景；用物理和动画将真实世界的力学添加到对象之中；用粒子系统发出烟、雾、火和其他移动液体；用后期处理效果来过滤世界等。...，该API旨在帮助开发者创建可同时使用ARKit和ARCore的体验。...据悉，ARInterface是通过通用功能为单一层来处理ARKit和ARCore的工作负载，从而为开发者提供一个界面。...ARRemoteInterface是API中的一个工具，它允许用户在不编译的情况下，直接测试他们的应用程序，并部署到设备上。

1.9K70

建立您的第一个AR体验

重要 如果您的应用需要ARKit作为其核心功能，请使用应用文件部分UIRequiredDeviceCapabilities中的arkit键，使您的应用仅在支持ARKit的设备上可用。...启用平面检测后，ARKit会为每个检测到的平面添加和更新锚点。默认情况下，ARSCNView类为每个锚点添加一个SCNNode对象到SceneKit场景。...您的视图的委托可以实现向场景添加内容renderer(_:didAdd:for:)方法。当您将内容添加为与锚对应的节点的子节点时，类会自动移动该内容，因为ARKit会细化其对平面位置的估计。...class ARWorldTrackingConfiguration 使用后置摄像头的配置，跟踪设备的方向和位置，并检测真实世界的表面，以及已知的图像或对象。...class ARPlaneAnchor 有关在世界跟踪AR会话中检测到的真实世界平面的位置和方向的信息。

1K20

iOS ARKit教程：用裸露的手指在空中画画

ARKit教程插图：在iOS ARKit应用程序中与虚拟对象交互 在这篇文章中，我们将使用iOS ARKit创建一个有趣的ARKit示例项目。用户将手指放在桌子上，好像他们握笔，点击缩略图并开始绘图。...在Apple ARKit示例中，我们使用的是Apple SceneKit，这是Apple提供的3D引擎。接下来，我们需要设置一个可以渲染3D对象的视图。...它将来自设备相机的实时视频输入渲染为场景背景，同时它自动将SceneKit空间与现实世界相匹配，假设该设备是这个世界中移动的相机。...所以，我们将在viewDidAppear中启动会话： 在上面的代码中，我们首先设置ARKit会话配置来检测水平平面。在撰写本文时，Apple不提供除此之外的选项。但显然，它暗示将来会发现更复杂的物体。...最后，我们输入一个新图像，其中该对象的位置发生变化，并且前一个操作的分析结果也是如此。鉴于此，它将返回对象的新位置。 我们将使用一个小技巧。

2.2K30

iOS版 使用ARKit和Swift创建交互式Domino游戏

在下面的教程中，我将向您展示如何使用Swift和ARKit制作有趣的Domino游戏。 这就是我们要做的： ?...ARKit不断分析场景，如果发现检测到的表面现在变大或变小，它将renderer:didUpdatenode:forAnchor:使用更新的值调用其另一个委托方法。...我们使用这些数据将我们的多米诺骨牌添加到触摸屏幕的地板上的确切位置。 我们必须为我们的场景添加一个平移手势。...我们将在场景中添加两个按钮。一个按钮将删除我们场景中的所有多米诺骨牌，另一个按钮将推翻第一个多米诺骨牌。 在main.storyboard，创建一个按钮，并将其命名为“ 删除所有多米诺骨牌 ”。...对于这个场景，我们将使用定向灯。 我们添加到场景中的地板是不透明的，因此应用到它上面的任何阴影都是不可见的。如何在保持隐形的同时为地板添加阴影？

2.3K30

WWDC 2018进行时|ARKit 2.0众望所归，新格式USDZ意在何为？

在开幕式上的主题演讲环节，并未提及会前被多方猜测的iPhone SE 2、配置更高的iMac、全面屏iPad Pro等硬件产品的信息。...直接的多用户功能用例是游戏，正如本次大会上，乐高的创新总监Martin Sanders（马丁·桑德斯）所演示的那样：Sanders与另一位同事手持iPad，然后在相同的AR场景中，同时增加蝙蝠侠和建筑物等一系列数字角色...其让大家能在随意捕捉的内容中，添加各种AR效果，以实现用数字标识信息、在现实中增加虚拟物品、用增强现实替代原有场景的效果。...而此次，苹果和皮克斯合作开发新格式，让人不禁疑惑，苹果是有意在快速增长的AR生态系统中，制定交互模型和文件格式的新标准，一如既往地“走自己的路”么？...而从iOS 12、ARKit、USDZ中，大家也能看到苹果对建立3D/VR/AR“生态圈”所做的努力。 ?

1K70

如何对RTSP播放器做功能和性能评估

好多开发者在做产品竞品分析的时候，不知道如何界定一个RTSP播放器，大牛直播SDK认为，一个RTSP播放器，不是说有几个类似于Open/Close接口就够了，好的RTSP播放器需要具备以下功能和性能属性...低延迟：大多数RTSP的播放都面向直播场景，所以，如果延迟过大，比如监控行业，小偷都走了，客户端才看到，或者别人已经按过门铃几秒，主人才看到图像，严重影响体验，所以，低延迟是衡量一个好的RTSP播放器非常重要的指标...视频view旋转：好多摄像头由于安装限制，导致图像倒置，所以一个好的RTSP播放器应该支持如视频view实时旋转(0° 90° 180° 270°)、水平反转、垂直反转； 9....可以录像：播放的过程中，随时录制下来感兴趣的视频片断，存档或其他二次处理； 15. log信息记录：整体流程机制实时反馈，不多打log，但是不能一些重要的log，如播放过程中出错等； 16. download...异常状态处理：如播放的过程中，断网、网络抖动、来电话、切后台后返回等各种场景的处理。

1.5K30
点击加载更多

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

更多标签

活动推荐

    运营活动

    活动名称
    广告关闭

    腾讯云开发者

    扫码关注腾讯云开发者

    扫码关注腾讯云开发者

    领取腾讯云代金券

    热门产品

    热门推荐

    更多推荐

    Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

    深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

    腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287

    领券