人工智能&手机在反向跳跃期间对髋关节、膝关节和踝关节运动的无标记运动捕捉

你能想象只用一部智能手机，就能像专业运动实验室一样，精确分析你跳跃时的关节动作吗？最近，科学家们研发出了一种超厉害的人工智能运动捕捉系统，让这一切成为了可能！

这项研究发表在《欧洲运动科学杂志》上，德国康斯坦茨大学的研究团队找来了 11 位志愿者，让他们进行反向运动跳跃（CMJ）。这可不是普通的跳跃，在跳跃过程中，髋、膝、踝关节会快速屈伸，角度变化剧烈，对评估人体神经肌肉性能意义重大。研究人员用智能手机（Apple iPhone X，4K 分辨率，60 帧 / 秒）记录下志愿者跳跃的全过程，同时还用 12 台 Vicon T40 - S 相机进行拍摄，Vicon 系统可是运动捕捉领域的 “金标准” 哦。那这个新系统是怎么工作的呢？它运用了先进的深度学习技术，从智能手机拍摄的 2D 视频中，就能重建出人体的 3D 运动姿态。它先通过一个自定义的卷积神经网络检测视频中的人物，然后再用另一个多阶段 CNN 预测 24 个关键骨骼点的位置，最后算出关节角度。

为了验证新系统的准确性，研究人员将它计算出的关节角度与 Vicon 系统测量的数据进行了详细对比。结果发现，新系统在测量髋关节和膝关节角度时，与 Vicon 系统高度相关，平均误差非常小，就像两个默契十足的伙伴。不过在踝关节角度测量上，虽然整体表现也不错，但还是有一些小差异，特别是在起跳和飞行初期，不过这些差异在后续训练和改进中有望缩小。

关注我之后设置星标，第一时间可以获得新文章推送！（欢迎各位转发！）

与之前的研究相比，这个新系统在单相机设置下，展现出了不逊色于多相机系统的性能，而且操作更加便捷。这意味着什么呢？以后无论是运动员想要提升训练效果，还是康复患者需要在家中监测康复进展，都可能只需一部智能手机就能轻松实现。当然，这项研究也有一些小局限，比如样本量还不够大，研究的动作相对简单。但这只是个开始，未来随着技术的不断完善，它将在运动科学、康复医学等领域发挥更大的作用。

▼ 本文海报

基于智能手机AI技术的无标记运动捕捉系统在反向运动跳跃中的应用研究总结

一、研究背景与目的

1.运动捕捉技术的发展与现状

• 随着科技进步，无标记运动捕捉软件和系统兴起。传统光学运动捕捉技术虽为研究人体运动模式的金标准，但存在成本高、不灵活、对硬件和计算力要求高等局限，限制了其在现场研究中的应用。而无标记运动捕捉系统利用人工智能和深度学习技术，可从视频记录中跟踪身体运动，无需专用硬件或标记，具有成本低、易获取等潜力，成为研究热点。

• 许多现有系统在姿态估计和运动分析时采用多相机或多角度拍摄，虽能提高精度，但单相机系统因其技术简单，在多种环境中进行运动分析更具优势，不过其结果存在可变性和局限性，易受运动、光照、视点及视频质量等外部因素影响，导致姿态估计和参数计算不够精确。

2.研究目的

• 验证一种新型的基于智能手机视频的无标记人工智能（AI）运动捕捉系统（Sbsq - pose）在反向运动跳跃（CMJ）中对髋关节、膝关节和踝关节角度测量的有效性和准确性，评估该系统在运动分析领域的应用潜力。

二、研究方法

1.参与者

• 选取11名年龄在20 - 42岁（平均28.4±9.2岁）的参与者，其中男性10名，女性1名。参与者招募自康斯坦茨大学，纳入标准为18岁及以上成年人且自愿签署知情同意书参与研究；排除标准为急性下肢损伤、过去6个月内受伤或过去12个月内有下肢手术史。研究遵循赫尔辛基宣言和康斯坦茨大学伦理标准。

▲ 图1（A）用于反光标记的Vicon标记放置（正面和背面）：右前额RFHD、左前额LFHD、左后额LBHD、右后额RBHD、锁骨CLAV、胸骨STRN、C7、右后背RBAK、T10、左肩LSHO、左上臂LUPA、左肘LELB、左前臂LFRM、左手腕LWRA/LWRB、左手指LFIN、右肩RSHO、右上臂RUPA、右肘RELB、右前臂RFRM、右手腕RWRA/RWRB、右手指RFIN、左髂前上棘LASI、左髂后上棘LPSI、右髂前上棘RASI、右髂后上棘RPSI、左大腿LTHI、左膝LKNE、左胫骨LTIB、左踝LANK、左足跟LHEE、左脚趾LTOE、右大腿RTHI、右膝RKNE、右胫骨RTIB、右踝RANK、右足跟RHEE和右脚趾RTOE；（B）Sbsq - pose的标记模型，由24个解剖关键点组合成一个骨骼模型：0：骨盆中心，1：左髋关节中心，2：右髋关节中心，3：下脊柱，4：左膝中心，5：右膝中心，6：中脊柱，7：左踝中心，8：右踝中心，9：上脊柱，10：左脚趾中心点，11：右脚趾中心点，12：颈部，13：左锁骨中心点，14：右锁骨中心点，15：头部中心，16：左肩关节中心，17：右肩关节中心，18：左肘关节中心，19：右肘关节中心，20：左手腕中心，21：右手腕中心，22：左掌心，23：右掌心。

2.研究设计

• 实验前获取参与者身高、体重、腿长、膝宽、踝宽、肘宽和手厚等人体测量数据。参与者首先进行标准化热身，包括30秒开合跳、三次亚最大CMJ、三次最大CMJ和30秒高抬腿跑，每项运动间休息30秒。

• 热身结束后，参与者进行8次CMJ。跳跃时要求参与者站直，双手放于臀部，双脚均匀受力，先下蹲至膝盖弯曲约90°，然后立即尽可能跳高，腾空时双腿伸直，双脚同时落地。跳跃过程同时由智能手机（Apple iPhone X，4K分辨率，60帧/秒）和12台Vicon T40 - S相机记录。Vicon运动捕捉系统被视为光学运动跟踪的金标准，其具有高精度。在使用Vicon系统时，按照Plug - in Gait（PiG）模型在参与者身体解剖标志点放置43个14mm的反光标记。Sbsq - pose系统则从智能手机视频中提取24个解剖关键点骨骼结构来估计关节运动学。为使两个系统同步，通过确定跳跃过程中髋和膝的最大屈伸位置，利用最小二乘法拟合确定系统间的时间偏移。

▲ 图2（A）反向运动跳跃动作及测量角度的示意图；平均值，（B）所有受试者在反向运动跳跃期间矢状面的髋关节角度，（C）膝关节角度，以及（D）踝关节角度。零度表示髋关节和膝关节完全伸展以及踝关节处于中立位。Y轴显示时间（以毫秒为单位），X轴显示角度（以度为单位）。Vicon Nexus的结果以蓝色显示，而人工智能智能手机运动捕捉的结果以橙色显示。统计参数映射的结果显示在每个图表的底部（灰色条表示显著性），为相对于临界阈值（黑色虚线，p = 0.05）的相应t检验统计量。

3.材料和数据采集

•Vicon运动捕捉：Vicon系统（Vicon MX，Oxford Metrics，英国牛津）由12个Vicon - T40S红外相机组成，采样率为100Hz，配套软件为Vicon Nexus（2.12版）。系统校准后使用直径14mm的小反射器，通过PiG模型计算身体节段和关节的运动学。该模型利用标记数据构建骨骼模型并定义大腿、小腿等节段，根据标记位置和人体测量数据确定关节中心相对方向，进而计算关节角度。

•Subsequent机器学习模型（Sbsq - pose）：Subsequent GmbH提供的基于AI的骨架重建工具基于多阶段计算机视觉管道，包含多个机器学习模型。首先，基于自定义卷积神经网络（CNN）的单发人物检测模型检测输入视频中的人物，并为每个视频帧中可见人物估计边界框。其训练数据集丰富多样，包括用于日常运动和交互的MSCOCO数据集、用于舞蹈运动和表演的AIST++数据集以及自定义内部运动数据集（如跑步、踢球等团队运动），总计超过1000万图像。根据边界框信息提取视频帧的裁剪部分并缩放至标准化分辨率，然后使用自定义多阶段CNN预测每个裁剪人物的24个静态定义的骨架关键点的相机相对2D和3D位置。为与Vicon数据对比，Sbsq - pose先确定两个骨骼模型间的一致关键点，再通过加权插值周围同骨骼关键点位置确定缺失关键点，如由肩和锁骨关键点计算颈部关键点，由特定骨盆关键点计算骨盆中心关键点。由于从单2D视频帧重建3D位置存在几何模糊性，模型集成多分辨率视觉特征和隐含学习的人体运动统计信息，以重建与输入图像最匹配的骨架表示，使其对视角变化、部分遮挡和视觉外观变化（如不同服装、光照、视频压缩伪影）具有鲁棒性。最后，通过选择每个关节关键点在相应运动链中的相邻关键点（如计算膝关节角度用髋和踝关节关键点），根据向量点积计算关节角度。

4.统计分析

• 为验证Sbsq - pose系统（Build - number 8358，2022 - 09 - 09训练）的准确性，将其计算的髋屈伸、膝屈伸、踝背屈和跖屈角度响应与Vicon运动捕捉系统在整个运动过程中的数据进行对比。使用Python脚本进行统计分析，计算并报告平均值和标准差（SD）。对比两个系统的角度进展时，计算Pearson相关系数（r）、均方误差（MSE）和平均绝对误差（MAE）。通过将Sbsq - pose记录的每个数据点与Vicon分析的对应数据点比较，得到平均相关性和误差。计算MSE和MAE是因为MSE能提供更多整体误差信息且对异常值更敏感，MAE则衡量系统间差异的平均幅度，对异常值更稳健。为评估系统间在每个个体运动学时间序列上的差异，采用统计参数映射（SPM）分析，同时计算角度响应最小和最大幅度的误差。

三、研究结果

1.系统测量结果比较

• Sbsq - pose与Vicon系统测量的关节角度在整个运动过程中的Pearson相关系数r表现良好，髋关节为0.96±0.04，膝关节为0.99±0.01，踝关节为0.87±0.08，均显示出较高的相关性。在误差方面，踝关节的MSE和MAE相对较大，MSE为5.7°（±1.3），MAE为4.5°（±1.1），而髋关节MSE为3.2°±0.8，MAE为2.6°±0.6，膝关节MSE为2.7°±1.2，MAE为2.1°±0.9。两系统测量的最大和最小角度差值在所有关节均小于3.2°。

2.角度曲线幅度分析

• 由于Sbsq - pose系统的训练数据主要包含慢动作，且从正面视频记录估计关键点和矢状面角度时存在一定挑战，导致角度曲线幅度在快速运动时会有所减小。然而，整个运动过程中最小和最大幅度的平均绝对误差小于3.2°，这表明该系统在捕捉CMJ关节角度时仍具有一定的准确性和一致性。

3.平均最大角度值分析

• 研究发现膝关节和踝关节的平均最大角度值（分别约为85°和25°）与以往文献报道相符。但髋关节角度的平均值约为60°，与文献中报道的CMJ中髋关节平均角度（约90 - 110°）存在显著偏差。分析原因可能是研究初始未评估参与者的运动水平，且参与者在CMJ执行过程中，尤其是髋关节过度屈曲动作方面可能存在错误，Vicon数据的平均角度进展也在一定程度上支持了这一推测。

4.SPM分析结果

• 在组水平上，通过SPM分析两个系统的时间连续测量数据（采用t - 检验度量），仅发现踝关节角度在起飞和第一飞行阶段存在显著差异。然而，对单个参与者的SPM分析显示出更多显著差异，尤其是在起飞和初始飞行阶段，部分参与者的髋和膝关节角度也存在显著差异，其中踝关节的差异最为明显。具体而言，有四名参与者在起飞阶段、七名参与者在飞行阶段、一名参与者在着陆或运动结束后踝关节角度出现显著偏差。对于踝关节角度进展分析中出现的较大不准确性，一种可能解释是模型在估计每个关节位置时存在一定程度的不确定性，由于踝关节到脚掌的距离相对较短，位置误差对角度误差的影响更大。不过，随着更多训练数据的输入和分析方法的改进，预计这种误差将逐渐降低。

四、研究讨论

1.与其他研究对比

• 与之前报道的无标记和标记系统对比研究结果相比，本研究中Sbsq - pose系统在测量CMJ关节角度时表现出较好的性能。例如，Needham等在比较基于OpenSim的无标记模型与标记系统（Oqus，Qualisys AB）的跳跃运动学研究中，报告髋、膝、踝关节角度平均差异≤3°，但该研究未进行SPM分析。Horsak等和Van Hooren等在比较开源OpenCap系统或自定义训练（DeepLabCut）及现有（OpenPose）模型与Vicon系统在行走或跑步时的研究中，报告髋、膝、踝关节角度差异≥5.0°。Mercadal - Baudart等的研究中，类似角度的均方根误差在膝和踝关节≤5°、髋关节≤6°，且作者指出多相机系统目前能显示更好结果，而本研究中髋关节和膝关节角度结果（分别为3.2°和2.7°）表现更优，踝关节角度结果变异性更大（5.7°）。

2.系统局限性分析

• 本研究存在一定局限性。首先，样本量相对较小，仅11名参与者，这可能影响统计结果的代表性和结论的普遍性，因此在解释统计显著性时需谨慎。其次，研究的运动相对简单，主要涉及特定身体区域（如髋、膝、踝关节）的屈伸运动，虽然研究工具可计算其他平面数据，但本研究仅选择矢状面数据进行分析，旨在证明相机不可见区域的角度也可计算，且对于垂直跳跃这种需要重心纵向移动的运动，矢状面角度是关键参数。未来研究将探索更复杂运动，如旋转运动，以全面评估新AI工具与当前金标准的差异。此外，在已进行的高尔夫挥杆、双杠复杂动作和地板翻滚运动测量分析中，发现系统对不熟悉的运动成分检测准确性较低，后续研究将重点整合更多训练数据、派生特征（如速度/加速度）以及改进时间建模，以提高系统性能。

五、研究结论

1. 整体而言，本研究中Sbsq - pose系统在测量CMJ关节角度时，通过高Pearson相关系数以及较低的MAE和MSE值，表明其能够提供有效的关节角度数据，尤其在矢状面的髋关节和膝关节角度测量方面表现出色，这意味着该系统有潜力成为传统运动捕捉系统的可行替代方案。

2. 然而，该系统在测量3D运动模式（如旋转运动）以及从矢状面相机准确检测额面或横断面角度（如膝内翻或膝外翻对齐）方面的能力仍有待进一步确定。本研究为需要获取有效可靠运动数据但无法使用昂贵传统运动捕捉系统的研究人员和临床医生展示了这一新工具的潜力，为后续研究和技术改进提供了基础和方向。

作者介绍Max大郭

作者Max，一位在长春读应用心理学的大三本科生，社交自媒体平台专注于输出体育科技以及体育科学相关内容，期待未来有能力的基础下能加入更多基于人工智能的体育分析与科技。有其他科研合作的欢迎您的联系。

我比较喜欢体育科学、大语言模型以及数据相关的，平常运动喜欢篮球足球以及体能训练更加关注此方向的产品应用和创新。

（我有时候会看一些可穿戴设备、动作捕捉以及AI领域的科研、产品应用，欢迎交流，期待向各位学习！）

Linkedin领英：Baixin Guo

科研/产品合作