一. 手势UIGestureRecognier简介 iOS 3.2之后,苹果推出了手势识别功能(Gesture Recognizer),在触摸事件处理方面,大大简化了开发者的开发难度。利用UIGestureRecognizer,能轻松识别用户在某个view上面做的一些常见手势。UIGestureRecognizer是一个抽象类,对iOS中的事件传递机制面向应用进行封装,将手势消息的传递抽象为了对象。其中定义了所有手势的基本行为,使用它的子类才能处理具体的手势。 二. 手势的抽象类——UIGesture
选自IEEE Spectrum 作者:Prachi Patel 机器之心编译 编辑:袁铭怿 不需要繁琐的设备、键盘,也不需要佩戴笨重的手环,只需在手上打印一条线就能实现凭空打字?近日,一项由斯坦福大学的研究人员开发的智能皮肤系统登上 Nature 子刊,它可以精确定位用户在键盘上想输入的位置,还可以与应用程序甚至是物体交互。 图源:KYUN KYU “RICHARD” KIM / 斯坦福大学 新的 AI 学习机制结合了智能皮肤,可以破译人手的动作,以识别打字、手语,甚至是简单日常物体的形状。开发人员说,这
2020世界VR产业大会上,影创科技发布其首款头手6DoF MR眼镜“鸿鹄”。鸿鹄搭载高通骁龙TMXR2平台,采用全自由度手势操作,为用户创造更“本能”、更“真实”的交互体验。
不管是手柄、触控板、还是数据手套等VR外设,他们存在的意义大多是为了将用户在现实中的动作传输至虚拟世界之中,并与之进行交互。但这些设备做得再自然,再符合人体工学,也远不及自己的手来得方便与舒适。 基于此,像Leap Motion这类的手势识别技术应运而生。当然,除了大家广为熟知的Leap Motion外,市面上还有许多优秀的手势识别设备。今天,小编就来为大家盘点一下目前较为主流的五款手势识别设备。 Kinect 研发公司:微软 上市时间:2010年11月4日 市场售价:1599元人民币 支持设备:XBOX
本文是对我们 CVPR 2021 接收的工作 "ACTION-Net: Multipath Excitation for Action Recognition" 的介绍。主要针对强时序依赖行为识别这个场景,设计了一组卷积模块。
近年来,由于视频理解成为实现 VR/AR 以及视频共享社交网络服务等实际应用的关键组件,学术界对该领域的研究越来越感兴趣。每天有数百万个视频上传到 TikTok、抖音和西瓜视频进行处理。但是,视频流的爆炸式增长对执行视频理解所需的高准确率和低计算成本提出了挑战。 作为视频理解的一个基本问题,动作识别在内容审核和推荐等视频相关的应用中被提出了越来越高的要求。随着 VR 等技术的飞速发展,与时序相关的动作识别也成为了近年来的研究热点。 时空性、特征和运动模式是视频动作识别任务的重要组成部分。目前,学界主流方法
最近,来自加州大学伯克利分校和挪威奥斯陆大学的Anat Perry 、Jamie Lubell 等学者在Brain杂志上发表了一项研究,表明即使是单侧损伤前额叶皮层,无论是否涉及到镜像神经元的关键区域额下回(IFG),都会导致情绪识别能力的降低,而对动作识别能力的影响只体现在反应时延长,并且情绪识别能力与β节律抑制成显著负相关。 实验分别选用了17位单侧脑损伤被试和18位年龄匹配的健康对照组被试。为了进一步验证镜像神经元核心区域IFG的在动作和情绪识别中的作用,将这17位脑损伤被试分为IFG损伤的被试(n=
(VRPinea 4月20日讯)今日重点新闻:Meta发布Quest2手势追踪2.0版;Snap为斋月购物季打造AR虚拟购物平台;VR MMORPG游戏《Zenith: The Last City》发布两大更新内容。
多模交互融合是普适计算和自然交互中最重要的组成部分。笔者认为,实现完整的多模交互融合需要分成四个阶段,分别为独立工作阶段、初步融合阶段、语义理解阶段和任务自适应阶段。
📷 原文来源:Lemberg Solutions Ltd 作者:Zahra Mahoor、Jack Felag、 Josh Bongard 编译:嗯~阿童木呀、KABUDA 现如今,与智能手机进行交互的方式有很多种:触摸屏、硬件按钮、指纹传感器、视频摄像头(如人脸识别)、方向键(D-PAD)、手持设备控制等等。但是我们该如何使用动作识别功能呢? 我们可以举一个例子来说明这个问题,比如当你持手机将其快速移动到左侧或右侧时,可以非常精确地显示出想要切换到播放列表中下一首或上一首歌曲的意图;或者,你可以将手机快
陶建华, 巫英才, 喻纯, 翁冬冬, 李冠君, 韩腾, 王运涛, 刘斌. 2022. 多模态人机交互综述. 中国图象图形学报, 27(6): 1956-1987
几天不见,Crossin 又去做什么游戏去了呢?这次我做的不是游戏,而是游戏机!而且是体感游戏机。
近期,机器人技术和自动驾驶系统利用实时的深度传感器,如激光雷达(LiDARs),来实现三维感知。激光雷达产生的点云可以提供丰富的几何信息,并帮助机器理解环境感知。早期方法集中于从静态点云中解析现实世界,忽略了时间变化。为了更好地理解时间变化的世界,近期研究更专注于在4D空间理解点云视频,包括三个空间维度和一个时间维度。已有几项工作在4D点云建模方面取得进展。这些方法要么旨在设计改进的网络来建模4D点云,要么采用自监督方法来提高4D点云表示的效率。
---- 手势识别大家并不陌生,想得到的是二维手型识别、二维手势识别、三维手势识别这几个名词,但是到底手势识别技术是什么?怎么定义的?又是如何工作的呢? 谈起手势识别技术,由简单粗略的到复杂精细的,大致可以分为三个等级:二维手型识别、二维手势识别、三维手势识别。在具体讨论手势识别之前,我们有必要先知道二维和三维的差别。二维只是一个平面空间,我们可以用(X坐标,Y坐标)组成的坐标信息来表示一个物体在二维空间中的坐标位置,就像是一幅画出现在一面墙上的位置。三维则在此基础上增加了“深度”(Z坐标)的信息,这
选自Google Research 机器之心编译 参与:路雪 视频人类动作识别是计算机视觉领域中的一个基础问题,但也具备较大的挑战性。现有的数据集不包含多人不同动作的复杂场景标注数据,今日谷歌发布了精确标注多人动作的数据集——AVA,希望能够帮助开发人类动作识别系统。 教机器理解视频中的人类动作是计算机视觉领域中的一个基础研究问题,对个人视频搜索和发现、运动分析和手势交流等应用十分必要。尽管近几年图像分类和检索领域实现了很大突破,但是识别视频中的人类动作仍然是一个巨大挑战。原因在于动作本质上没有物体那么明
原标题 | New Datasets for Action Recognition
作者: Chunhui Gu & David Ross 编译:魏子敏,龙牧雪,谭婧 就在昨天,谷歌blog发布了一个堪比“视频版”ImageNet的数据集-AVA(A Finely Labeled Video Dataset for Human Action Understanding ),为视频动作识别这一图像识别中的重大课题提供了新的“原材料”。这个崭新的数据集填补了在复杂的场景下,多人执行不同操作的标注空白。 以下为google blog原文,大数据文摘对其进行了编译: 在计算机视觉领域,教会机器在视
手势识别指的是计算机设备侦测并识别人类手势。近几年来,随着手势识别技术的高速发展,以及3D传感器的广泛采用,手势交互已经得到广泛的普及。 在越来越多的设备中,我们看到了手势主导的界面,改变了我们和计算机交互习惯。通过结合3D传感器和精美的界面,用来分析数据,计算机变得更智能,能更好的理解人类操作。不可不说是沟通的一大进步。 那么对于用户体验设计来说,手势交互又意味着什么呢? 改变使用习惯:手势交互和手势识别 用户通常都会有惯性思考,我们设计师也同样如此。 在进行手势交互设计时,经常会落入一下误区: 表面上实
键盘、鼠标、触摸屏,每一代新的计算机技术都伴随着一种新式的输入设备。但在我们进入物联网时代之际,输入领域还尚未建立起统一的标准。 有几家公司正在尝试让我们完全从屏幕前解脱出来,它们利用的不过是我们与生俱来的输入设备——手的自然活动,从是发明出控制我们的数字生活的方法。 自任天堂(Nintendo)的Wii游戏机使玩家离开沙发、在客厅四处挥舞手臂以来,手势控制技术已经取得了很大进步。现在,微软(Microsoft)的Kinect可以精确追踪我们四肢的任何动作。连接个人电脑的3英寸Leap Motion控制器,
机器之心发布 作者:香港大学、腾讯ARC Lab 本文提出了一个全新的借口任务用于视频文本预训练,叫做多项选择题(MCQ)。通过训练辅助的BridgeFormer根据视频内容回答文本构成的选择题,来学习细粒度的视频和文本特征,并实现下游高效的检索。该研究已被 CVPR 2022 收录为 Oral。 用于文本视频检索的多模态预训练工作主要采用两类方法:“双流”法训练两个单独的编码器来约束视频级别和语句级别的特征,忽略了各自模态的局部特征和模态间的交互;“单流”法把视频和文本联结作为联合编码器的输入来进行模态间
本文介绍的是CVPR2020 满分论文《FineGym: A Hierarchical Video Dataset for Fine-grained Action Understanding》,作者为香港中文大学博士邵典。
谷歌在创新的路上越走越远,而百度在致富的步子上越走越急。看到下面这些谷歌黑科技,我才明白谷歌和百度不止隔着一个太平洋! 智能隐形眼镜 据谷歌称,它正在开发一款智能隐形眼镜。该产品旨在通过泪液测量血糖水
人体姿态分析/行为分析/动作识别AI算法,是一种利用人工智能技术对人体行为进行检测、跟踪和分析的方法。通过计算机视觉、深度学习和模式识别等技术,可以实现对人体姿态、动作和行为的自动化识别与分析。
iOS设备现如今大受欢迎的最重要原因之一就在于其开创了触控操作的潮流。发展到现在,无论是Android还是iPhone,现在APP与用户进行交互,基本上都是依赖于各种各样的触控事件。例如用户对屏幕进行了侧滑,APP就需要对这个手势进行相应的处理,给用户一个反馈。这些相应的事件就都是在UIResponder中定义的。 广告插播的措不及防:如果您要是觉得这篇文章让您有点收获,随手点个赞会让俺兴奋好久吶。 UIResponder大体有四类事件:触摸、加速计、远程控制、按压(iOS9.0以后出来的,3DTou
“陪伴是最好的表白。”科幻电影中的智能机器人,早已可以满足人类的心灵需求。因为更加智能,相比宠物,未来的机器人应该是最好的玩伴。那么,现阶段机器人发展到什么程度?人类应该以什么样的目光看待这些机器人呢
手势和语言一样,是人类交流的一种自然形式。事实上,它们可能是最自然的表达方式。进化研究表明,人类语言是从手势开始的,而不是声音。另一个证明就是婴儿在学会说话之前,使用手势来传达情感和欲望。 许多科技公
编者按:近日,计算机视觉顶会 CVPR 2020 接收论文结果揭晓,从 6656 篇有效投稿中录取了 1470 篇论文,录取率约为 22%。中科院VIPL实验室共七篇论文录取,内容涉及弱监督语义分割、活体检测、手势识别、视觉问答、行人搜索、无监督领域自适应方法等方面,本文将予以详细介绍。
还记得打个响指就把房间变成撩妹粉的日本技术宅小哥吗?这个项目可不止撩妹这么简单,至少谷歌认为,这种“手势指令”技术应该是未来人机互动的重要方向。
AI科技评论按:在计算机视觉研究中,识别视频中人的动作是一个基础研究问题。个人视频搜索和发现、运动分析和手势交流等应用中,都会用到这项至关重要的技术。尽管过去的几年里在图像中分类和识别物体的技术上,我们已经取得了令人振奋的突破,但识别人类的动作仍然是一个巨大的挑战。从本质上来说,视频中人的行为更难被明确定义,而物体的定义更为明确。所以构建精细动作标记的视频数据集非常困难。目前虽然有许多基准数据集,比如UCF101、ActivityNet和DeepMind Kinetics,采用基于图像分类的标签方案,为数据
在计算机视觉研究中,识别视频中人的动作是一个基础研究问题。个人视频搜索和发现、运动分析和手势交流等应用中,都会用到这项至关重要的技术。 尽管过去的几年里在图像中分类和识别物体的技术上,我们已经取得了令人振奋的突破,但识别人类的动作仍然是一个巨大的挑战。从本质上来说,视频中人的行为更难被明确定义,而物体的定义更为明确。所以构建精细动作标记的视频数据集非常困难。目前虽然有许多基准数据集,比如 UCF101、ActivityNet 和 DeepMind Kinetics,采用基于图像分类的标签方案,为数据集中的每
这篇论文应该是3DCNN的鼻祖,对于视频数据来说,作者认为3D ConvNet非常适合于时空特征学习,这里也就是视频分析任务上。 摘要: 我们提出了一种简单而有效的时空特征学习方法,该方法使用在大规模有监督视频数据集上训练的深层三维卷积网络(3D ConvNets)。我们的发现有三个方面:1)与2D ConvNet相比,3D ConvNet更适合时空特征学习;2)具有小的3×3×3卷积核的同质结构是3D ConvNet中性能最好的结构之一;3)我们学习的特征,即C3D(卷积3D),在4个不同的基准上优于最先进的方法,并在其他2个基准上与当前最好的方法相媲美。此外,特征紧凑:在只有10维的UCF101数据集上达到了52.8%的准确率,而且由于ConvNets的快速推理,计算效率也很高。最后,它们在概念上非常简单,易于培训和使用。
“AI跳绳”是近期某钉应用新发布运动健康较火热的轻量应用。主要用于运动健康、教育打卡等应用上的娱乐游戏,为了扩展相关领域应用和娱乐,提交运动数据,当做“课程作业”,老师也能在后台查阅相关数据,作业数据提交,任务提交等场景,结合抗疫,提升抵抗力,互动排行榜等激发学生和运动学员的参与性和积极性等作用;;
数据、算法与社会融合,四位教授大论道,客观审视人工智能如何融入听障人士的日常生活。
手势识别是交互体验最基本的需求,精准与实时为关键所在。 这是一个奇怪的现象,突然爆发的行业火着火着就冷了,如虚拟现实; 这也是一个意料之中的现象,因为即便概念再火,不能真正落地也终是枉然,如VR交互式体验。 交互体验概念虽已打出许久 但仍处于 “被呐喊”的阶段 据不完全统计,截至2016年上半年,国内VR行业投融资事件共有117起,总投资规模超40亿元。其中2015年全年投融资事件有57起,投资规模为24亿元;2016上半年投资事件有38起,投资规模为15.4亿元。而到了2016年下半年,VR领域的投融资事
又是新的一年, 2016总体不错, 前两年的坚持和积累开始产生效果, 2017不忘初心, 继续前行. 从做PC网游开始, 到2014年做主机游戏, 2015年做单机VR游戏, 2016年做多人VR游戏, 我们一直在走一条非主流的路. 不过现在回头看看, 冒似绕了一条路走在了前面, 做为一名技术人员来说, 还是挺有成就感的. 看看目前绝大数的VR游戏, 其实就是美术做个场景, 程序实现一下交互, 然后就可以拿去上线了, 难怪2016下半年VR热度开始冷却, 因为忽悠太多了. 我们也是从一开始做
手势是人类表达信息的重要途径之一,通过手势识别,我们可以获得表达者所要表达信息(例如对方竖起大拇指,表达了对方的表扬之意)。本项目将基于PaddleVideo来训练一个手势识别模型,利用模型对七种手势进行识别,分别是点击、放大、向下滑动、向上滑动、缩小、旋转以及抓取。
之前我们公众号报道了一个项目,看这个天才老爸如何用Jetson NANO做一个带娃机器人, 文章中的爸爸叫:
在大数据可视化领域,国内的发展也已经逐渐走向成熟,每年都有许多可视分析系统不断涌现。近年,沉浸式大数据可视化得到了发展,浙江大学的探索了如图 1所示的无缝结合羽毛球比赛数据绘制的2D和3D可视化视图的问题,Chu等人(2022)探索了结合高度来凸显羽毛球数据中多个战术之间存在的差异性问题,如图 2所示。由此可以看出,沉浸式大数据可视化对数据分析和展示问题提出了有效的解决方法。
北京冬奥会即将开幕,全民健身如火如荼。2020年夏季奥运会有46项体育项目,2022年冬奥会有15项体育项目,丰富的项目涉及的姿势标准也各有区别。运动员如何科学地进行体育锻炼、准确矫正健身动作?教练员如何借助技术提供更智能化的训练和战术分析?体育视频行业如何高效定位精彩片段,分享更多精彩运动瞬间?“AI+体育”正在交出答卷。
AI 科技评论按:第 32 届 AAAI 大会(AAAI 2018)日前在美国新奥尔良进行,于当地时间 2 月 2 日至 7 日为人工智能研究者们带来一场精彩的学术盛宴。AAAI 2018 今年共收到论文投稿 3808 篇,接收论文 938 篇,接收率约为 24.6 %。
基于骨骼点的动作识别 (Skeleton-based Action Recognition) 旨在从一系列时间连续的人体骨骼点中识别正在执行的动作。相较于 RGB 帧或光流,人体骨骼这一模态与人体动作天然更密切,且更加紧凑。
现在主流的VR硬件设备,主要的输入输出设备还是类似传统游戏手柄的外设:Oculus在Touch没发布之前,一直用的是微软的Xbox的手柄;HTC和索尼都有自己研制开发的控制器作为交互工具。 但是如果想要在VR中达到更加自然的交互和沉浸体验,摆脱外设的手势识别必然是未来发展的一个大方向。 手势识别技术的发展 手势识别技术的发展,可以粗略分为两个阶段:二维手势识别以及三维手势识别。 早期的手势识别识别是基于二维彩色图像的识别技术,所谓的二维彩色图像是指通过普通摄像头拍出场景后,得到二维的静态图像,然后再通过计算
PoseC3D是一种基于 3D-CNN 的骨骼行为识别框架,同时具备良好的识别精度与效率,在包含 FineGYM, NTURGB+D, Kinetics-skeleton 等多个骨骼行为数据集上达到了SOTA。不同于传统的基于人体 3 维骨架的GCN方法,PoseC3D 仅使用 2 维人体骨架热图堆叠作为输入,就能达到更好的识别效果。
9月27日,趣立科技新品发布会在成都首座万豪酒店成功召开,本次大会趣立科技全新一代6DoF VR参考设计样机“骐骥”正式亮相。
从可触控牛仔夹克到 Pixel 4 的姿态识别雷达,谷歌从未停止过对新奇交互方式的追求,
本文分享 CVPR 2022 论文『Bridging Video-text Retrieval with Multiple Choice Questions』,港大&腾讯&UCBerkeley提出带有多项选择任务的视频文本检索模型,《BridgeFormer》,性能SOTA!
选自arXiv 作者:Lijie Fan、Wenbing Huang、Chuang Gan、Stefano Ermon、Boqing Gong、Junzhou Huang 机器之心编译 参与:Panda 尽管端到端的特征学习已经取得了重要的进展,但是人工设计的光流特征仍然被广泛用于各类视频分析任务中。为了弥补这个不足,由来自腾讯 AI Lab、MIT、清华、斯坦福大学的研究者完成并入选 CVPR 2018 Spotlight 论文的一项研究提出了一种能从数据中学习出类光流特征并且能进行端到端训练的神经网络
iOS 中的事件响应者主要分为两类,分别为UIResponder及UIGestureRecognizer,其中UIControl是一种比较特殊的UIResponder,所以本文将事件响应者分为以下三种类型进行讨论。
机器之心发布 作者:张皓 本文将介绍视频理解中的三大基础领域:动作识别(Action Recognition)、时序动作定位(Temporal Action Localization)和视频 Embedding。 1.视频理解背景 根据中国互联网络信息中心(CNNIC)第 47 次《中国互联网络发展状况统计报告》,截至 2020 年 12 月,中国网民规模达到 9.89 亿人,其中网络视频(含短视频)用户规模达到 9.27 亿人,占网民整体的 93.7%,短视频用户规模为 8.73 亿人,占网民整体的 88
领取专属 10元无门槛券
手把手带您无忧上云