C-MHAD：多模态/连续动作检测数据集（附数据+Baseline代码）

2020年，UTD Embedded Machine Learning Lab 发布了一个新的多模态（视频+惯性传感）连续运动检测数据集。基于这个数据集，作者也同时发布了基于pytorch的baseline代码。

论文：https://www.mdpi.com/1424-8220/20/10/2905

数据和代码下载：https://personal.utdallas.edu/~kehtar/C-MHAD.html

一

创建数据集目的

现存的数据集有很多是视觉信号的连续动作数据集。多模态的动作检测数据集，比如Berkeley MHAD 和 UTD-MHAD，都是切分好动作起点/终点的数据。

这是目前唯一一个 RGB视频+惯性传感 的 连续动作检测数据集。

二

传感器介绍

在这个数据集中介绍的惯性信号包括了三维的角速度信号以及它们各自的加速度信号，这种模型已经应用在市售的Shimmer3可穿戴惯性传感器上， 它可以通过蓝牙连接在笔记本电脑上，工作频率为50HZ,，笔记本电脑会以每秒15帧，每帧640*80的分辨率捕获视频。

此数据集中的每个动作流持续2分钟，并对应到1801个图像帧和6001个惯性信号采样点。由于蓝牙通信相关的延时，每个动作流开始时的30-40个惯性数据采样点不存在数据集中。因此，在使用惯性数据之前，根据数据集中缺失样本的数量，需要在每个操作流的开头填充0，以达到总共6001个采样点。

捕获的惯性信号被写入Excel文件，然后视频帧保存在.avi文件中。对于智能电视手势应用中，惯性传感器戴在对象的右手腕上， 如图1（a）所示。对于过渡运动应用程序， 如图3所示，惯性传感器戴在对象的腰部。

总共有从12个受试者中收集的240个视频剪辑（120个用于智能电视手势数据，120个用于过渡运动数据）。

三

智能电视手势数据

智能电视手势数据12位受试者（10位男性和2位女性）执行的的5个动作， 从其中的10个对象逐一捕获连续的视频和惯性数据流，每个流持续2分钟。惯性传感器的加速度和角速度信号是通过蓝牙连接并实时传输到笔记本电脑。同时使用同一台笔记本电脑的摄像机来捕获视频， 受试者可以在相机的视场中自由移动。所有受试者的手势都是在手臂戴惯性传感器完成的。智能电视手势应用程序中的5个感兴趣的动作是向左滑动，向右滑动，挥手，顺时针绘画圆圈，然后逆时针画圆。这些手势或动作已列出在表1中。

图2显示了感兴趣的动作的代表性图像帧。图3显示了对一个2分钟的采样流的6个惯性信号（3个加速度和3个角速度）。在捕获的动作流中，有受试者随机做出以上5个感兴趣的动作 和 其他无关的任何动作。

四

过渡运动数据

过渡运动数据由以下7个动作组成，这些动作是由同样12位受试者（10位男性和2位女性）完成的。如图4所示，这些感兴趣的动作包括：从站着到坐着，从坐着到站着，从坐着到躺着，从躺着到坐着，从躺着到站着，从站着到躺着，从站着到跌倒。这些过渡运动是站立，坐着，躺着和跌倒之间的过度动作。如图5所示。是从10个受试者中逐一捕获的10个连续的视频和惯性数据流，每个持续2分钟，这次惯性传感器戴在腰间，在动作流中受试者以随机顺序完成动作。图6显示了过渡运动程序的一个2分钟的采样流的6个惯性信号（3个加速度和3个角速度）

五

数据和代码下载

数据下载：

https://utdallas.box.com/s/4zwus5h4khsxpullnm45o59xlfpba6a0

python数据展示，和baseline实现代码：

https://github.com/users/HaoranWeiUTD/projects/3

Matlab数据展示代码：

https://github.com/users/HaoranWeiUTD/projects/4

六

引用

这些论文介绍了关于 C-MHAD 的更详细信息. 如果使用本数据集，请选择性引用以下的论文.

[1] H. Wei, P. Chopada, and N. Kehtarnavaz, "C-MHAD: Continuous Multimodal Human Action Dataset of Simultaneous Video and Inertial Sensing," under review Sensors, 2020.

[2] H. Wei, and N. Kehtarnavaz, "Simultaneous Utilization of Inertial and Video Sensing for Action Detection and Recognition in Continuous Action Streams," to appear in IEEE Sensors Journal, 2020.

七

作者：知乎—魏浩然

地址：https://www.zhihu.com/people/haoranwei