首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

谷歌机器学习应用框架MediaPipe增强3D对象追踪功能

近期,谷歌跨平台机器学习应用开发框架MediaPipe为XR开发者提供KNIFT和Objectron两种工具,并引入高级AI框架来提升3D目标追踪。该功能将为AR/VR应用带来手势追踪、面部追踪、姿态追踪和目标追踪等功能。

据青亭网了解,MediaPipe是谷歌在2019年推出的AI框架,主要用来检测3D空间的人和物体,并通过机器学习方案来追踪目标,将2D数据转换为3D空间结构。MediaPipe的跨平台兼容性好,支持安卓、iOS等系统的AR/VR开发工具。除此之外,谷歌还推出Apache 2.0开源框架,为开发者提供完全可定制的XR项目。

MediaPipe提供的各类3D追踪功能,可以用于AR/VR内容开发。其中包含的主要XR功能包括:人脸检测、人脸网格、虹膜检测、手部检测、姿势检测、整体检测、自拍分割、头发分割、物体检测、方格追踪、即时运动追踪、Objectron(对象框跟踪)、KNIFT、AutoFlip、MediaSequence等等。

其中,KNIFT全称为关键点神经不变特征变换,主要作用是增强对象检测效果、帮助理解物体上的信息,可匹配现实世界对象(例如停车标志)上显示的信息,并作为空间数据进行传递。而Objectron则是将2D图像中的对象转化为实时3D(RT3D)数据点,并通过机器学习算法来预测对象的姿势变化。此外,Objectron可根据2D视频片段跟踪户外空间/环境。

值得注意的是,谷歌曾将MediaPipe与各种内部项目集成,比如去年推出的Art Filter应用,利用MediaPipe工具将任意物品转化成经典艺术品。谷歌SignAll也集成了MediaPipe服务,用于追踪和读取手语。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20220713A0495I00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券