首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

IF-ConvTransformer:基于IMU传感器的人体行为识别深度网络框架

目前,深度学习已经在基于惯性测量单元(IMU)的人体行为识别任务中得到了广泛探索。新近方法通常使用由卷积神经网络(CNN)和循环神经网络(RNN)组成的混合模型进行多传感器融合与上下文信息关联,进而实现行为识别。然而,这些模型通常对不同传感器的物理特性与RNN的“遗忘缺陷”欠缺考虑,导致识别性能不足。

为此,来自中山大学的张晔博士后提出了一种面向人体行为识别的深度网络框架IF-ConvTransformer。该框架由IMU融合模块与ConvTransformer子网络组成。其中,IMU融合模块受到了互补滤波技术的启发,可以自适应地适配重力计和陀螺仪的数据特性,有效融合不同IMU传感器。此外,ConvTransformer子网络可以通过卷积层和自注意力层更好地捕捉局部和全局时序特征,有效构建上下文关联。该方法使用了5个基于智能手机和3个基于可穿戴设备的人体行为识别数据集进行实验验证,实验结果表明,该方法在W-F1指标上平均比基准方法高出2.88%。此外,该方法也提供了一些有趣的可视化实验,进一步证明了其有效性。相关代码开源在:https://github.com/crocodilegogogo/If-ConvTransformer。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20230621A07MDO00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券