首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

AR增强现实的技术支撑

识别与跟踪技术

在实现增强现实的过程中,需要对真实的场景和信息进行分析,生成虚拟事物信息。

两步看似简单,其实在实际进行过程中,需要将摄像机获得的真实场景的视频流,转化成数字图像,然后通过图像处理技术,辨识出预先设置的标志物。

识别出标志物之后,以标志物作为参考,结合定位技术,由增强现实程序确定需要添加的三维虚拟物体在增强现实环境中的位置和方向,并确定数字模板的方向

将标志物中的标识符号与预先设定的数字模板镜像匹配,确定需要添加的三维虚拟物体的基本信息。

生成虚拟物体,并用程序根据标识物体位置,将虚拟物体放置在正确的位置上。这其中涉及到的识别跟踪和定位问题,是增强现实的最大的难题之一

要实现虚拟和现实事物的完美结合,必须确定虚拟物体在现实环境中准确的位置,准确的方向,否则增强现实的效果就会大打折扣。

而在现实环境中,由于现实环境的不完美性,或者称为复杂性,增强现实系统在这种环境下的效果远不如在实验室的理想环境中。

由于现实环境中的遮挡,未聚焦,光照不均匀,物体运动速度过快等问题,对增强现实的跟踪定位系统提出了挑战。

如果不考虑与增强现实进行交互的设备,其主要实现跟踪定位的方法有如下两种:

图像检测法

使用模式识别技术(包括模板匹配,边缘检测等方法),识别获得的数字图像中预先设置的标志物,或是基准点,轮廓,然后根据其偏移距离和偏转角度计算转化矩阵确定虚拟物体的位置和方向。

这种方法进行跟踪定位不需要其他的设备,而且精确度较高,因此是增强现实技术中最常见的定位方法。

在模板匹配时,系统会预先存储好多种模板,来和图像中检测到的标志物匹配来计算定位。

简单的模板匹配可以提高图像检测的效率,因也为增强现实的实时性提供了保障。

通过计算图像中标志物的偏移和偏转,也能够做到三维虚拟物体的全方位观察。

模板匹配一般用于对应特定图片三维成像,设备通过扫描特定的图片,将这些图片中的特殊标志位与预先存储的模板匹配,即可呈现三维虚拟模型

比如汽车店的车模卡片,玩具公司的人物卡片,都可以用模板匹配来进行增强现实。

边缘检测可以检测出人体的一些部位,同时也可以跟踪这些部位的运动,将其与虚拟物体物体无缝融合

比如,真实的手提起虚拟的物体,摄像机可以通过跟踪用户手的轮廓,运动方式来调整虚拟物体的方位。因此,许多商场的虚拟商品适用,多会使用边缘检测。

虽然图形检测法简单高效,但也有其不足的地方。

图像检测多用于相对理想的环境以及近距离的环境,这样获得的视频流和图像信息会清晰,易于进行定位计算。

而如果在室外环境中,光线的明暗,物体的遮挡,以及聚焦问题,使得增强现实系统不能很好的识别出图像中的标志物,或是出现和标志物相似的图像,这样都会影响增强现实的效果。而此时,就需要其他跟踪定位方法的辅助。

全球卫星定位系统法

这种方法是基于详细的GPS信息进行跟踪和确定用户的地理位置信息。

当用户在真实环境中行走时,可以利用这些定位信息和用户摄像机的方向失误,增强现实系统能将虚拟信息和虚拟物体精确的叠加到环境景物以及周围的人物之上。

目前由于智能设备的普及,智能手机的广泛应用,而又由于智能手机具有支持基于GPS定位法的增强现实系统的基本组件:摄像机,显示屏,GPS功能,信息处理器,数字罗盘等,并把它们集成为一体,因此这种跟踪定位法多用于这种智能移动设备上。

一种称为增强现实浏览器的应用程序,主要就是应用这种方法。

增强现实浏览器能够在智能手机上运行,它可以连接互联网,搜索相关的信息,然后让用户在真实的环境看到相关的信息。

增强现实浏览器能够可以让用户了解到摄像机方向的几乎所有事物的信息,比如找到一家距离很近但是被遮挡住的餐厅,或是获取用户对一家咖啡馆的评价。

这种定位方式适合于室外的跟踪定位,可以克服在室外环境中,光照,聚焦等不确定因素对图像检测法造成的影响。

其实在增强现实系统实际运用的环境中,往往不会用单一的定位方法来定向定位。

比如增强现实浏览器也会运用图像检测法来检测一些特定的符号,例如QR码。识别出QR码在进行模板匹配,即可为用户提供信息。

增强现实技术

当前的增强现实主要有如下三种显示技术:

1

●移动手持显示;

2

●视频空间显示和空间增强显示;

3

●可穿戴式显示。

智能手机通过相应的软件实时取景并显示叠加的数字图像,这就是移动手持式显示器的一般工作情况。

同时现在平板电脑不断增加功能以及比智能手机更大的屏幕,也是其日益流行。

手持增强现实标志物,通过网络摄像机在视频窗口或是显示器上显示虚拟叠加的图像,就是视频空间显示方式。

带有增强现实功能的贺卡,既是用这种方式显示的。

用户在收到贺卡后,登录相应的网站系统,用网络摄像机对准贺卡,用户即可从显示屏上得到贺卡内所存储的信息形成的虚拟物体和视频。

空间增强显示技术,则是利用把包括全息投影在内的视频投影技术,直接将虚拟数字信息显示在真实的环境之中。

这种技术的系统不同于一般的增强现实系统,只适合于个人使用,而是能与增强现实与周围环境相结合,不仅仅限于单个用户。

这种技术适用于大学或者图书馆,可以同时为一群人提供增强现实信息。也可以将控制组件投影到相应的实体模型上,方便工程师的交互操作。

可穿戴式显示器是一种可以戴在用户头上的类似眼镜的头盔显示器。我们熟知且期待的google glass正是这一类型的。

可穿戴式显示器一般有一道两个内嵌镜头和半透明镜的小型显示器,在飞行仿真,工程设计以及教育训练等多个领域都有广泛的运用。

头戴式设备可以让用户更加自然地体验增强现实,并且能够为用户提供更大的视场,给予用户更强,更真实的“身在该处”的感觉。

交互技术

最基础的增强现实人机交互就是用户查看虚拟数据。除此之外,还有以下一些交互技术。

触觉接口交互

通过数字信息提供身体触感来进一步实现虚实结合。比如,可触碰的虚拟光球,可以在虚拟的碗上绘画的幻影笔。

协作式接口交互

使用多个显示器来支持远程共享与交互或同地协作活动。这种交互能够与多种应用软件集成,可用于医学领域的执行诊断和外科手术,或是设备维修等。

混合接口交互

组合多种不同但是功能互补的接口,使得用户能够通过多种方式的增强现实的内容进行交互。这种交互使得增强现实的交互更加灵活,可以用于数字模型的测试。

多模态接口交互

通过语言和行为的自然存在的形式与真实物体进行交互,比如,说话,触碰,自然手势,凝视等。多模态交互能让用户灵活的组合多种模态,更方便用户与增强现实系统的交互。

内容源自网络,版权归原作所有

1

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20210113A0B8V400?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券