首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

Python 实现三维姿态估计遮挡匹配预测

引言:随着计算机技术的飞速发展以及人们对智能化设备需求的提高,人体行为识别已经成为计算机视觉领域热门研究方向之一,其广泛应用于公共安防、人机交互、虚拟现实、体育运动和医疗健康等领域,具有极高的理论研究价值。早期的方法主要针对于 RGB 视频图像,由于易受复杂背景、光照强度的影响,很难达到理想效果。但随着深度传感器技术的发展,高精度获取三维骨架关节点信息变得方便可行。对比传统 RGB 视频图像数据,骨架姿势信息对行为的描述有其内在优势,它不仅能够更准确地描述人体姿态和运动状态而且不受背景复杂度及光照强度等因素的影响,同时骨架信息也可以被广泛应用于行为识别。

01

计算机视觉在生物力学和运动康复中的应用和研究

近几十年来,在运动生物力学和康复环境中对人体运动的研究取得了长足的进步。基于视觉的运动分析涉及从顺序图像中提取信息以描述运动,可以追溯到19世纪后期, Eadweard Muybridge首先开发了捕获屈步态图像序列的技术。此后,运动分析相关技术进步很快,与不断增长的需求相平行,这些技术可以捕获从临床步态评估到视频游戏动画在内的各种运动。在运动生物力学和康复应用中,人体运动学的定量分析是一种功能强大的工具,生物力学工具已经从使用图像的人工注释发展为基于标记的光学跟踪器,基于惯性传感器的系统以及使用复杂的人体模型,计算机视觉和机器学习算法的无标记系统,已经取得了长足的发展。

03

HumanNeRF:从单目视频中实现移动人物的自由视点渲染

给定一个人类表演活动的单个视频,我们希望能够在任何一帧暂停,并围绕表演者旋转360度,以便在那个时刻从任何角度观看(图1)。这个问题——移动物体的自由视点渲染——是一个长期存在的研究挑战,因为它涉及到合成以前看不见的相机视图,同时考虑布料褶皱、头发运动和复杂的身体姿势。这个问题对于在本文中所讨论的用单个相机拍摄的“现场”视频(单目视频)来说尤其困难。以前的神经渲染方法通常假设多视图输入、仔细的实验室捕捉,或者由于非刚体运动而在人类身上表现不佳。特定于人类的方法通常假设SMPL模板作为先验,这有助于约束运动空间,但也会在服装中引入SMPL模型无法捕捉到的伪影和复杂运动。最近可变形的NeRF方法对于小的变形表现良好,但在舞蹈等大型全身运动中表现不佳。本文介绍了一种称为HumanNeRF的方法,该方法将移动的人的单个视频作为输入,在每帧、现成的分割(通过一些手动清理)和自动3D姿势估计之后,优化人体的标准体积T姿势,以及通过后向扭曲将估计的标准体积映射到每个视频帧的运动场。运动场结合了骨骼刚性运动和非刚性运动,每种运动都以体积表示。其解决方案是数据驱动的,标准体积和运动场源自视频本身,并针对大型身体变形进行了优化,端到端训练,包括3D姿势细化,无需模板模型。在测试时,可以在视频中的任何一帧暂停,并根据该帧中的姿势,从任何视点渲染生成的体积表示。

01
领券