专栏首页arxiv.org翻译专栏人类行动检测和人机工程学风险评估的多任务学习方法 (CS CV)
原创

人类行动检测和人机工程学风险评估的多任务学习方法 (CS CV)

我们提出了一种基于图形多任务建模的长视频人体动作评价(HAE)新方法。以前在活动评估中的工作要么直接使用检测到的骨架计算度量,要么使用场景信息来回归活动分数。这些方法对于准确的活动评估是不够的,因为他们只计算一个平均分数,并没有考虑关节和身体动力学之间的相关性。此外,它们高度依赖场景,使得这些方法的可推广性值得怀疑。我们提出了一种新的HAE多任务框架,该框架利用图形卷积网络主干将人关节之间互连嵌入到特征中。在该框架中,我们将人类行为检测(HAD)问题作为一个辅助任务来改进活动评估。HAD的头部由一个编码器-解码器-时间卷积网络提供动力,以检测长视频中的活动,并使用了基于长-短期记忆的架构。我们在UW-IOM和TUM厨房数据集上评估了我们的方法,并讨论了在这两个数据集上的成功和失败案例。

原文题目:A Multi-Task Learning Approach for Human Action Detection and Ergonomics Risk Assessment

原文:We propose a new approach to Human Action Evaluation (HAE) in long videos using graph-based multi-task modeling. Previous works in activity assessment either directly compute a metric using a detected skeleton or use the scene information to regress the activity score. These approaches are insufficient for accurate activity assessment since they only compute an average score over a clip, and do not consider the correlation between the joints and body dynamics. Moreover, they are highly scene-dependent which makes the generalizability of these methods questionable. We propose a novel multi-task framework for HAE that utilizes a Graph Convolutional Network backbone to embed the interconnection between human joints in the features. In this framework, we solve the Human Action Detection (HAD) problem as an auxiliary task to improve activity assessment. The HAD head is powered by an Encoder-Decoder Temporal Convolutional Network to detect activities in long videos and HAE uses a Long-Short-Term-Memory-based architecture. We evaluate our method on the UW-IOM and TUM Kitchen datasets and discuss the success and failure cases on these two datasets.

原文作者:Behnoosh Parsa, Ashis G. Banerjee

原文地址:https://arxiv.org/abs/2008.03014

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 对象识别的反面例子:全面调查(CS CV)

    深度神经网络是机器学习研究的前沿。然而,尽管在复杂的任务中取得了令人印象深刻的表现,但它们可能非常敏感:输入的小扰动就足以诱导不正确的行为。这种扰动称为对抗性例...

    太子钟
  • VISIONE视频搜索系统:利用现成的文本搜索引擎进行大规模视频检索(CS CV)

    在本文中,我们描述了VISIONE,一个视频搜索系统,它允许用户使用文本关键词、对象的出现及其空间关系、颜色的出现及其空间关系还有图像的相似性来搜索视频。这些模...

    太子钟
  • 故事线可视化与无处不在的演员(CS SI)

    故事线可视化描述了社会互动的时间动态,同时它们描述了演员群体(个人或组织)如何随时间变化。故事线可视化中的一个常见约束是,参与者不能同时属于两个不同的组。然而,...

    太子钟
  • 2020 ISUX校园招聘专属通道

    ? 腾讯ISUX isux.tencent.com 社交用户体验设计 ? ISUX校园招聘2020专属通道 ? ISUX 2020年校园招聘正式启动,爱设计...

    腾讯ISUX
  • 近距离接触: 一个制止疾病爆发的方法(CS CY)

    我们提供了一个移动应用程序解决方案,通过跟踪疾病潜伏期中可能的感染,帮助遏制疫情爆发。 我们考虑一个主要通过近端接触,通过呼吸道飞沫在人群中传播的感染的特殊病例...

    用户7095611
  • 斯坦福大学使用机器学习做次季节温度/降水预报

    文章下载地址: https://arxiv.org/pdf/1809.07394.pdf

    zhangqibot
  • ISUX 2019 校园招聘专属通道

    ? 腾讯ISUX isux.tencent.com 社交用户体验设计 ? ISUX校园招聘2019专属通道 ? ISUX2019年秋季校园招聘正式启动,爱设...

    腾讯ISUX
  • 【论文推荐】最新6篇目标检测相关论文—场景文本检测 、显著对象、语义知识转移、混合监督目标检测、域自适应、车牌识别

    【导读】专知内容组整理了最近六篇目标检测(Object Detection)相关文章,为大家进行介绍,欢迎查看! 1. Rotation-Sensitive R...

    WZEARW
  • 缺乏奖励的流形分析中的期权发现(CS AI)

    事实证明,选项是强化学习的有效工具,有助于改进探索和学习。 在本文中,我们提出了一种基于频谱图理论的方法,并推导了一种系统地发现选项而无需访问特定奖励或任务分配...

    RockNPeng
  • 【论文推荐】最新六篇聊天机器人相关论文—弱监督信息、内容驱动、对话管理系统、可扩展情感序列到序列、自主性

    WZEARW

扫码关注云+社区

领取腾讯云代金券