专栏首页AI研习社论文推荐 | 京东发布LightTrack - 自顶向下人体姿态追踪通用框架

论文推荐 | 京东发布LightTrack - 自顶向下人体姿态追踪通用框架

京东发布 LightTrack - 自顶向下人体姿态追踪通用框架

推荐理由

这是一篇京东数字科技与匹兹堡大学5月7日公布的论文,现于PoseTrack的Multi Person Pose Tracking排行榜名列第一,在总体MOTA上以微弱优势击败微软的HRNet(尽管在总体AP上仍比HRNet低不少)。

这是迄今第一篇以自顶向下方式完成在线人体姿态追踪的系统。作为一个框架,该工作中的姿态估计部分和ReID部分都是可以灵活替换的。此外,作者还提出了孪生图卷积网络(Siamese Graph Convolution Network)并作为该系统中的Re-ID模块,以图的形式来表示人体关键点,以较低的计算量有效地学习人体姿态的相似度,并对相机的突然移动导致的偏移有较高的鲁棒性。

该工作已于Github开源。代码地址:https://github.com/Guanghan/lighttrack

项目实战

先配置一个conda环境,make一下自带的库,用自带的脚本下载训练好的模型权重和视频,再就是一句python demo_video_mobile.py。后面发现,这个demo读取的是./data/demo/video.mp4文件,我就把它替换成东哥的视频。感觉还挺好玩的~

摘要

In this paper, we propose a novel effective light-weight framework, called as LightTrack, for online human pose tracking. The proposed framework is designed to be generic for top-down pose tracking and is faster than existing online and offline methods. Single-person Pose Tracking (SPT) and Visual Object Tracking (VOT) are incorporated into one unified functioning entity, easily implemented by a replaceable single-person pose estimation module. Our framework unifies single-person pose tracking with multi-person identity association and sheds first light upon bridging keypoint tracking with object tracking. We also propose a Siamese Graph Convolution Network (SGCN) for human pose matching as a Re-ID module in our pose tracking system. In contrary to other Re-ID modules, we use a graphical representation of human joints for matching. The skeletonbased representation effectively captures human pose similarity and is computationally inexpensive. It is robust to sudden camera shift that introduces human drifting. To the best of our knowledge, this is the first paper to propose an online human pose tracking framework in a top-down fashion. The proposed framework is general enough to fit other pose estimators and candidate matching mechanisms. Our method outperforms other online methods while maintaining a much higher frame rate, and is very competitive with our offline state-of-the-art. We make the code publicly available at:https://github.com/Guanghan/lighttrack.

论文链接

https://arxiv.org/pdf/1905.02822.pdf

本文分享自微信公众号 - AI研习社(okweiwu)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-05-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Docker最全教程之使用 Visual Studio Code玩转Docker(二十一)

    VS Code是一个年轻的编辑器,但是确实是非常犀利。通过本篇,老司机带你使用VS Code玩转Docker——相信阅读本篇之后,无论是初学者还是老手,都可以非...

    心莱科技雪雁
  • 使用 neovim 的浮动窗口让你再次爱上 fzf

    fzf 是一个非常高效实用且美观的命令行工具,并且配置有对应的 vim 插件 fzf.vim, 相信很多人都用过。这里就不在赘述,如果你还没有用过,很推荐一试。

    用户1558438
  • VisualStudio 2019 新特性

    很多小伙伴都好奇 VisualStudio 2019 有哪些功能,下面让我介绍一些好玩的特性

    林德熙
  • Data注解的使用

    今天由randy给大家分享开发过程中非常实用的一波操作:使用Data注解简化JavaBean的代码。

    南风
  • VisualStudio 好用插件集合

    在 VisualStudio 开启命令行,支持启用 git 或 Vim 或其他命令行工具

    林德熙
  • 在 VS Code 中校验 Jenkinsfile

    在日常工作中,我经常需要创建或修改很多 Jenkinsfile,有时还会发生错误。这是一个非常繁琐的流程——修改 Jenkinsfile,提交、推送,然后等 J...

    LinuxSuRen
  • 代码编辑器VS Code的“Chromium”版来啦:安全、开源、保护你的隐私

    深受程序猿们欢迎的代码编辑器VS Code迎来了另一个平行版本——VS Codium。这二者的关系有些类似于Chrome和Chromium,扩展插件完全通用,连...

    量子位
  • centos 7 下发送邮件设置 原

    yum -y install sendmail service sendmail start

    拓荒者
  • Java必备技能:IDEA一定要懂的32条快捷键

    这些IntelliJ IDEA键盘快捷键可以让你专注于编写代码,让你的双手在键盘上起舞。

    本人秃顶程序员
  • VisualStudio 2019 如何离线下载 存放的路径添加功能多语言添加所有功能下载恢复安装离线下载

    微软就给 VisualStudio 2019 一个在线安装工具,需要通过命令行输入参数才可以离线下载

    林德熙

扫码关注云+社区

领取腾讯云代金券