首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

基于骨架运动的Kinect 3D手势识别 - 存在哪些库?

基于骨架运动的Kinect 3D手势识别是一种使用Kinect摄像头捕捉人体运动数据,并将其转化为3D手势识别的技术。以下是一些可用的库:

  1. OpenNI:OpenNI是一个开源的跨平台库,用于处理Kinect和其他类似设备的数据。它提供了一个简单的API,可以用于捕捉人体运动数据并将其转化为3D手势识别。
  2. NITE:NITE是一个基于OpenNI的库,用于实现自然用户界面。它提供了一个简单的API,可以用于捕捉人体运动数据并将其转化为3D手势识别。
  3. OpenCV:OpenCV是一个开源的计算机视觉库,用于处理图像和视频数据。它提供了一个简单的API,可以用于捕捉人体运动数据并将其转化为3D手势识别。
  4. MediaPipe:MediaPipe是一个开源的机器学习框架,用于处理图像和视频数据。它提供了一个简单的API,可以用于捕捉人体运动数据并将其转化为3D手势识别。
  5. TensorFlow:TensorFlow是一个开源的机器学习框架,用于处理图像和视频数据。它提供了一个简单的API,可以用于捕捉人体运动数据并将其转化为3D手势识别。
  6. PyTorch:PyTorch是一个开源的机器学习框架,用于处理图像和视频数据。它提供了一个简单的API,可以用于捕捉人体运动数据并将其转化为3D手势识别。
  7. Caffe:Caffe是一个开源的深度学习框架,用于处理图像和视频数据。它提供了一个简单的API,可以用于捕捉人体运动数据并将其转化为3D手势识别。
  8. Darknet:Darknet是一个开源的深度学习框架,用于处理图像和视频数据。它提供了一个简单的API,可以用于捕捉人体运动数据并将其转化为3D手势识别。
  9. TensorFlow.js:TensorFlow.js是一个开源的机器学习框架,用于处理图像和视频数据。它提供了一个简单的API,可以用于捕捉人体运动数据并将其转化为3D手势识别。
  10. Keras:Keras是一个开源的深度学习框架,用于处理图像和视频数据。它提供了一个简单的API,可以用于捕捉人体运动数据并将其转化为3D手势识别。

以上是一些可用的库,可以用于基于骨架运动的Kinect 3D手势识别。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

更稳定手势识别方法--基于手部骨架与关键点检测

导读 本期将介绍并演示基于MediaPipe手势骨架与特征点提取步骤以及以此为基础实现手势识别的方法。...介绍 关于MediaPipe以前有相关文章介绍,可以参看下面链接: Google开源手势识别--基于TF Lite/MediaPipe 它能做些什么?它支持语言和平台有哪些?请看下面两张图: ?...github地址:https://github.com/google/mediapipe 效果展示 手势骨架提取与关键点标注: 手势识别0~6: 实现步骤 具体可参考下面链接: https://google.github.io...总结后续说明 总结:MediaPipe手势检测与骨架提取模型识别相较传统方法更稳定,而且提供手指关节3D坐标点,对于手势识别与进一步手势动作相关开发有很大帮助。...normalized_to_pixel_coordinates(float_x,float_y,width,height) new_landmarks.append(pt) return new_landmarks (3) 基于此你可以做个简单额手势识别或者手势靠近远离屏幕小程序

1.9K20

就是要简单粗暴点,谁说裸手不能在VR中玩得风生水起?

基于此,像Leap Motion这类手势识别技术应运而生。当然,除了大家广为熟知Leap Motion外,市面上还有许多优秀手势识别设备。...简介:Leap Motion是基于双目视觉手势识别设备,它实现原理与人眼3D一致:人类双眼视觉收到两个不同平面图像,可以在大脑中合成一幅3D图像。...Hand CV是一套基于单目摄像头手势识别交互系统及SDK。虽然Hand CV通过图像识别算法也能计算出模糊深度数据,但无法利用单目摄像机捕捉精度深度信息。...简介:DeepHand是专为手势识别技术而打造新系统,其特点是使用了卷积神经网络来模仿人类大脑,进行深度学习,理解手部关节和运动变化,提高识别的准确率和精细度。...这些手势识别设备虽然能够有效地捕捉手部信息,自然交互符合VR所想带给人们那种超真实体验感。然而这些手势识别设备存在问题也有不少,如识别范围小、精准度不够、有延迟等。

1.6K120

【深度相机系列六】深度相机哪家强?附详细参数对比清单

---- Microsoft Kinect 微软推出了两款KinectKinect一代(Kinect v1)是基于结构光原理深度相机,Kinect二代(Kinect v2),是基于TOF原理深度相机...此外,Kinect V2SDK非常给力,SDK中提供了同时最多进行六个人骨架追踪、基本手势操作和脸部跟踪,支持 Cinder 和 Open Frameworks,并且具有内置Unity 3D插件...需要说明是, R200SDK只支持人脸跟踪、不支持手势跟踪和骨架跟踪。...Orbbec Astra SDK比较简单,支持基本手势跟踪,可以用于手势识别的人机交互,但是不支持骨架提取。最远测量范围可达8m。因此,Orbecc Astra比较适合室内较远距离应用场景。...SDK提供C语言API接口,直接输出深度图,但是没有手势/人脸/骨架跟踪相关开发工具包。

5K20

用双手感知虚拟世界,微软认为手势识别是VR输入未来

早在2013年,微软就演示了利用Kinect来使用悬浮手势操作Windows。2015年时候,微软研究员又开始着手研究手势识别追踪技术handpose。...去年第一次推出handpose时,微软就介绍了它大概工作原理,首先用户把手放在微软Kinect前面,让传感器采集相关手部运动信息,然而计算机创建出一个3D模型。...换言之,Handpose支持现有的Kinect和其他3D传感摄像头。 手势识别于VR游戏来说是令人惊喜突破性技术,但是我们还可以将其应用到其他更有创造力事物中,例如创造艺术或制作音乐。...近些年,随着各项技术成熟和传感器发展,手势识别已经进入可用性阶段,精准度和便携度也得到了很大提高,不仅仅是微软在潜心研究他们Handpose,Leap motion也在之前推出了基于双目识别技术...Orion手势识别,普林斯顿大学研究者还研究了基于深度网络算法手势识别系统DeepHand。

1.3K60

深度相机种类_深度相机原理

---- Microsoft Kinect 微软推出了两款KinectKinect一代(Kinect v1)是基于结构光原理深度相机,Kinect二代(Kinect v2),是基于TOF原理深度相机...此外,Kinect V2SDK非常给力,SDK中提供了同时最多进行六个人骨架追踪、基本手势操作和脸部跟踪,支持 Cinder 和 Open Frameworks,并且具有内置Unity 3D插件...需要说明是, R200SDK只支持人脸跟踪、不支持手势跟踪和骨架跟踪。...Orbbec Astra SDK比较简单,支持基本手势跟踪,可以用于手势识别的人机交互,但是不支持骨架提取。最远测量范围可达8m。因此,Orbecc Astra比较适合室内较远距离应用场景。...SDK提供C语言API接口,直接输出深度图,但是没有手势/人脸/骨架跟踪相关开发工具包。

3K20

使用Kinect2作为Oculus游戏应用输入设备

可以使用双手对虚拟世界中物体产生影响 能够识别一些简单手势, 如抓, 推, 拉, 按, 摸等等 那Kinect2提供数据或者功能有哪些呢?...这会影响基于直觉和经验空间位置判断 那还有什么别的方法去实现双手肢体绘制吗? 在使用KinectStudio调试时, 发现3D视图下深度呈现比较有意思: ?...延迟: 由于DepthBuffer是硬件采集原始数据, 是没有经过处理, 不存在中间数据处理时间(延迟), 所以在响应速度上肯定是非常理想, 可以控制在70ms左右(Kinect2硬件固定60ms...为了更好地展示每个控件功能, 我们把整个全息交互场景分成了前后两”层” 远景: 只能同时存在一个控件, 可以抓住进行拖动和缩放操作, 并进行每个控件特定功能操作, 如网页点击, 小游戏手势移动等等...近景交互是基于双手”Touch”操作, 通过Kinect获取双手骨骼位置, 挂了两个碰撞体用于检测与控件之间Overlap状态 ?

1.2K70

姿态估计与行为识别(行为检测、行为分类)区别

行为识别可以借助姿态估计相关研究成果来实现,比如HDM05这类姿态就提供了每一帧视频中人骨架信息,可以基于骨架信息判断运动类型。...共有5个大类动作:1)人-物交互;2)肢体运动;3)人-人交互;4)弹奏乐器;5)运动。 HMDB51:来源为YouTube视频,共计51类动作,约7000段视频。...骨架数据,比如MSR Action 3D,HDM05,SBU Kinect Interaction Dataset等。这些数据已经提取了每帧视频中人骨架信息,基于骨架信息判断运动类型。...这些3D特征提取器在空间和时间两个维度上操作,因此可以捕捉视频流运动信息。...然后基于3D卷积提取器构造一个3D卷积神经网络,这个架构可以从连续视频帧中产生多通道信息,然后在每一个通道都分离地进行卷积和下采样操作。最后将所有通道信息组合起来得到最终特征描述。

2.3K20

基于深度学习单目人体姿态估计方法综述(一)

作为计算机视觉基础任务之一,人体姿态估计是一个非常重要研究领域,可以应用于许多应用领域,如动作/活动识别、动作检测、人体跟踪、电影和动画、虚拟现实、人机交互、视频监控、医疗救护、自动驾驶、运动分析等...手势),计算机和机器人可以以一种简单方式执行指令,而且更加智能。 视频监控:视频监控是早期采用人体姿态估计技术对特定范围内的人进行跟踪、动作识别、再识别的应用之一。...(1) 基于骨架模型:基于骨架模型,也称为棍状模型或运动学模型,表示一组关节(通常在10到30之间)位置以及人体骨架结构之后相应肢体方向。...尽管商业产品,如带有深度传感器Kinect、带有光学传感器VICON和带有多个摄像头The Captury已被用于3D身体姿势估计,所有这些系统都在非常有限环境中工作,或者需要人体上特殊标记。...然后基于每个检测到的人,重建完整三维姿态,包括遮挡关节。最后,对时间稳定性和运动骨架拟合作出了改进。

1K20

基于深度学习单目人体姿态估计方法综述(一)

作为计算机视觉基础任务之一,人体姿态估计是一个非常重要研究领域,可以应用于许多应用领域,如动作/活动识别、动作检测、人体跟踪、电影和动画、虚拟现实、人机交互、视频监控、医疗救护、自动驾驶、运动分析等...手势),计算机和机器人可以以一种简单方式执行指令,而且更加智能。 视频监控:视频监控是早期采用人体姿态估计技术对特定范围内的人进行跟踪、动作识别、再识别的应用之一。...(1) 基于骨架模型:基于骨架模型,也称为棍状模型或运动学模型,表示一组关节(通常在10到30之间)位置以及人体骨架结构之后相应肢体方向。...尽管商业产品,如带有深度传感器Kinect、带有光学传感器VICON和带有多个摄像头The Captury已被用于3D身体姿势估计,所有这些系统都在非常有限环境中工作,或者需要人体上特殊标记。...然后基于每个检测到的人,重建完整三维姿态,包括遮挡关节。最后,对时间稳定性和运动骨架拟合作出了改进。

1.3K10

手势识别:使用标准2D摄像机建立一个强大手势识别系统

最著名例子是微软Kinect,它于2010年11月推出,并创下了吉尼斯世界纪录,成为最畅销消费设备。尽管Kinect最初取得了成功,但手势控制器并没有得到消费者广泛认可。...其次,现有体系表现并不完美。现实世界是混乱,每个用户都倾向于以略微不同方式执行一个给定手势。这使得构建强大、用户独立识别模型变得困难。...在TwentyBN上,我们采用了一种不同手势识别方法,使用了一个非常大、带注释动态手势视频并使用神经网络训练这些数据集。我们已经创建了一个端到端解决方案,它运行在各种各样摄像机平台上。...这使得我们可以建立一个手势识别系统,它是稳健,并且只用一个RGB摄像机实时工作。...在神经网络下层使用这样3D过滤器是有帮助,特别是在运动中起关键作用任务中。神经网络输出是一系列特性,每一个特性都可以被看作是一个小输入视频片段压缩表示。

3.3K70

解读手势识别,或许不是VR交互万能工具

早期手势识别识别基于二维彩色图像识别技术,所谓二维彩色图像是指通过普通摄像头拍出场景后,得到二维静态图像,然后再通过计算机图形算法进行图像中内容识别。...前两种在早期手势识别技术中运用比较多,而基于深度学习神经网络手势识别必然是未来手势识别的趋势。...这种技术可以让机器自己去提取特征,它不需要手工特征提取,强大学习能力使得模型在复杂背景下也能取得理想效果。而且这种算法可以在一定范围内允许运动背景存在,从而提高了识别的环境耐受力和精细度。...手势识别的应用场景 首先就是游戏娱乐上应用。以微软Kinect为例,它主要是搭配xbox游戏机来体验一些趣味性强游戏,比如,通过手势动作来控制游戏中角色做出不同反应。...在去年亚洲CES展上,宝马展出了最新iDrive系统,通过安装在车顶上3D传感器对驾驶员手势识别,实现对车辆导航、信息娱乐系统控制等。

1.8K30

鹅厂原创 | 使用HTML5开发Kinect体感游戏

表面上看,这款游戏与其它体感体验无异,实际上,它一直运行于浏览器Chrome下,也就是说,我们只需要掌握前端相应技术,就可以开发基于Kinect网页体感游戏。...二如何实现 使用H5开发基于Kinect体感游戏,其实工作原理很简单,由Kinect采集到玩家及环境数据,比如人体骨骼,使用某种方式,使浏览器可以访问这些数据。...2、浏览器端 浏览器端获取骨骼数据,并用canvas描绘出来,关键代码如下: 很简单几行代码,我们便完成了玩家骨骼捕获,有一定 javascript基础同学应该很容易能看明白,但不明白是我们能获取哪些数据...,据测识别并不是太准确,在精度要求不高情况下使用 0 unknown 不能识别 1 notTracked 未能检测到 2 open 手掌 3 closed 握拳 4 lasso 剪刀手,并合并中食指...3.3、现场光线较暗,其它玩家干扰,在追踪玩家运动轨迹过程中,可能会出现抖动情况,我们需要去除干扰数据。

1.1K40

一文读懂:图卷积在基于骨架动作识别应用

以下文章来源于极验,作者张秉异 机器之心发布 作者:张秉异 基于骨架动作识别(skeleton-based action recognition)一直是计算机视觉领域中一个研究热点,在计算机视觉各大顶会...本文将介绍图卷积在基于骨架动作识别应用。 在进入正题之前,先介绍一下一些背景知识。 什么是基于骨架动作识别骨架是什么?相信没有谁比我们自己更了解我们身体构造了。...在计算机视觉领域内,基于骨架动作识别的定义为:对一副骨架序列进行模式判别,识别这副骨架语义上所代表执行者所表达动作。 ? 通常,获取骨架方式有两种: 1....文中作者详细地介绍了新数据集各项特性。 地址:https://arxiv.org/abs/1905.04757 基于骨架动作识别应用 问题数学建模 ?...文章中,作者首次运用 Spatial temporal graph convolutional networks 在基于骨架动作识别的问题上。 ?

1.6K21

【深度相机系列四】深度相机原理揭秘--结构光(iPhone X 齐刘海原理)

该方案优点:测量精度很高(最高可达微米级);可得到较高分辨率深度图(因为有大量3D投影点);受物体本身颜色影响很小(采用二进制编码)。...时分复用编码原理示意图 3、空分复用编码(spatial multiplexing coding 根据周围邻域内一个窗口内所有的点分布来识别编码。 该技术优势:适用于运动物体。...Kinect2是基于TOF技术)上。...之后,苹果一直在推动PrimeSense深度相机向小型化发展。 2016年7月,苹果公布了新型3D手势控制专利,是一个内嵌在类似手机iOS设备上图形投影仪,可以识别出用户手势操作。...iPhone X基于原深感相机开发动画表情功能 因此iPhone X前置原深感相机可以认为是一个缩小版功能更强Kinect1。

3.1K100

深度相机原理揭秘--结构光(iPhone X 齐刘海原理)

该方案优点:测量精度很高(最高可达微米级);可得到较高分辨率深度图(因为有大量3D投影点);受物体本身颜色影响很小(采用二进制编码)。...时分复用编码原理示意图 3 空分复用编码(spatial multiplexing coding 根据周围邻域内一个窗口内所有的点分布来识别编码。 该技术优势:适用于运动物体。...是基于TOF技术)上。...之后,苹果一直在推动PrimeSense深度相机向小型化发展。 2016年7月,苹果公布了新型3D手势控制专利,是一个内嵌在类似手机iOS设备上图形投影仪,可以识别出用户手势操作。...iPhone X基于原深感相机开发动画表情功能 因此iPhone X前置原深感相机可以认为是一个缩小版功能更强Kinect1。

2K10

【深度相机系列七】深度相机应用全面梳理:多点开花,定点爆破

中写过,三维人脸识别是真正安全的人脸识别,可以有效避免照片/屏显图片、换脸算法、戴面具/3D人脸模型等破解方法。非常适合于活体检测。 ?...智能人机交互 1、人体骨架提取和跟踪 Microsoft推出Kinect系列深度相机就是专门为体感游戏而生。经过多年市场教育,相信大家都比较熟悉,不多说。 ?...传统基于RGB图像骨架提取跟踪技术在有多人交叠情况下性能下降很快,而深度相机生成深度图可以很方便区分不同远近的人体和背景,这非常有利于多人交叠下不同人体骨架提取。 ?...2、手势识别跟踪 和人体骨架提取和跟踪类似,手势识别跟踪也属于自然肢体语言。相较于RGB相机,深度相机可以更快速更准确实现手指关键点提取和跟踪。 ?...基于手势识别跟踪可以开发很多实用、有趣应用。

1.2K21

IEEE | 非接触式步态信息情感识别

该文章讨论了基于步态信息自动情感识别,这一领域已在人机交互,心理学,精神病学,行为科学等领域进行了广泛研究。...利用朴素贝叶斯,最近邻和支持向量机进行评估,识别个体间情绪准确性为69%。Gunes从FABO数据中提取了时空特征,以典型相关分析(CCA)方式识别了7种情绪,其准确率达到了89%。...红外投影仪和摄像机构成了Kinect深度传感器,该传感器可以跟踪人们3D运动并在3D空间中提供25个身体关节位置。...在实验过程中,每个参与者步态模式都由两种运动记录,如图3所示。 ? 图3. 实验过程 2.2 数据 当参与者行走时,行人路两端kinect传感器会捕获其关节3D位置。...(a)kinect3D坐标系;(b)转换后3D坐标系 三、实验结果 完成图1第二部分后,研究者需要提取并选择与参与者情绪密切相关重要步态特征。

1.1K20

CVPR 2020 论文大盘点-人体姿态估计与动作捕捉篇

本文盘点CVPR 2020 所有人体姿态估计(Human Pose Estimation)、手势识别(Gesture Recognition)、人体形状与姿态估计(Human Shape and Pose...人体姿态估计分为2D(6篇)和3D(11篇)两大类;手势识别只有两篇文献,一篇基于骨架,另一篇基于点云;人体形状与姿态估计是同时计算人体姿态和网格有,有3篇;动作捕捉对人体形状和姿态进行连续计算,反应人体运动...3D 人体姿态估计 单眼3D人体姿态估计深度运动学分析 [7].Deep Kinematics Analysis for Monocular 3D Human Pose Estimation 作者 |...手势识别(Gesture Recognition) 基于骨架手势识别 [19].Decoupled Representation Learning for Skeleton-Based Gesture...基于点云手势识别 [20].An Efficient PointLSTM for Point Clouds Based Gesture Recognition 作者 | Yuecong Min, Yanxiao

3.2K21

Device-Free Gesture Tracking Using Acoustic Signals

Background / Problem Statement 研究背景以及问题陈述: 如何高效识别运动手势 Major Contributions 该研究贡献: 不需要任何硬件,高精度识别1-D以及...细粒度探寻声波变化并以此识别手势。 在室内较为嘈杂环境下也能够正常使用。 How Do You Think 你认为作者会采用那些方法解决问题?...我猜测一下,不用傅立叶相关,说明没有用频谱图;不是靠发射微波识别,说明不需要高频段信号特征;而识别手势是一个时间轴上动作,那么要实时识别的话,还可以是什么呢?想不到了。。...进而得出手势? 怎么细化这个信号? Method(s) 作者解决问题方法/算法是什么?是否基于前人方法?基于哪些? 1-D测量 基于相位差距离测量 通过信号相位差确定移动距离。...系数设置 最终选择 为350hz,N=16 计算 算法如下: 大部分情况下仍然使用基于相位算法,而在且仅在 中存在归一化能量高于给定阈值主要峰值时才使用基于延迟分布路径长度估计。

63420

ApacheCN 计算机视觉译文集 20211110 更新

OpenCV 零、前言 一、Android 的卡通化器和换肤器 二、iPhone 或 iPad 上基于标记增强现实 三、无标记增强现实 四、使用 OpenCV 探索运动结构 五、使用 SVM 和神经网络识别车牌...六、非刚性人脸跟踪 七、使用 AAM 和 POSIT 3D 头部姿势估计 八、使用 EigenFace 或 Fisherfaces 的人脸识别 OpenCV 安卓编程示例 零、前言 一、准备就绪...九、从图像中提取特征 十、创建全景图像 十一、接缝雕刻 十二、检测形状和分割图像 十三、对象跟踪 十四、对象识别 十五、立体视觉和 3D 重建 第 3 部分:模块 3 十六、增强现实 十七、过滤器乐趣...十八、使用 Kinect 深度传感器手势识别 十九、通过特征匹配和透视变换来查找对象 二十、使用运动结构重建 3D 场景 二十一、跟踪视觉上显着对象 二十二、学习识别交通标志 二十三、学习识别面部表情...二、使用 Kinect 深度传感器手势识别 三、通过特征匹配和透视变换查找对象 四、使用运动结构重建 3D 场景 五、跟踪视觉上显着对象 六、学习识别交通标志 七、学习识别面部表情 Python

94810
领券