数据采集环境

为给研究人员提供更多有效的多模态同步数据集，合肥工业大学的程景铭团队设计了一个多模态运动数据采集系统，采集了包含全身运动多模态数据集，并利用已有算法对数据集进行了评估测试。

多模态运动数据采集系统

该多模态运动数据采集系统，主要包含如下三种设备：

动作捕捉设备：选用NPN设备采集高精度人体运动数据。

深度相机设备：选用Kinect v2设备放置于人体正前方，使用内置算法直接采集人体骨骼信息。

IMU设备：采用ATOM Matrix作为IMU数据的采集设备，同时集成了Wi-Fi、蓝牙等模块，便于IMU数据的采集与传输。

数据采集环境

实验分类采集了全身运动多模态数据集，包含6类动作，如广播体操、八段锦、体育运动、五禽戏、日常活动和舞蹈等总计697万帧数据。

实验使用了卷积神经网络、双向循环自编码器、基于感知的双向循环自编码器和深度惯性姿势对数据集进行评估，验证数据集的通用性。团队将数据集的部分数据进行了随机划分，一部分作为训练数据训练神经网络，另一部分作为测试数据测试神经网络的性能。

【程景铭, et al. "多模态人体运动同步数据集." 计算机辅助设计与图形学学报 (2022).】