专栏首页我爱计算机视觉CPU上跑到 33 FPS 的简单轻量级人体姿态估计网络

CPU上跑到 33 FPS 的简单轻量级人体姿态估计网络

在姿态估计算法中,微软开发的 SimpleBaseline 是精度高而又轻量级的典范,昨天一篇论文Simple and Lightweight Human Pose Estimation,在该架构基础上做了少许改进,取得了更快的速度和更小的模型Size。

论文作者信息:

作者均来自南京大学。

该文发明的轻量级姿态估计网络LPN架构:

与SimpleBaseline类似,LPN由一个主干网络和几个上采样层组成,不同的是,作者重新设计了网络中在下采样阶段的基础组件即轻量级Bottleneck模块,并同时在上采样阶段也选择了轻量级的形式。

改进的Bottleneck模块

如下图:

(a)为标准Bottleneck模块,(b)为改进的Bottleneck模块,将标准卷积替换为深度可分离卷积,同时expansion 参数从4设为1,同时为了使网络能够更好的建模全局上下文信息,作者又进一步在Bottleneck中添加了GC block(global context block),如(c),(d)为GC block结构示意图。

另外,作者发明了一种迭代式的训练方法,在不使用ImageNet数据集上预训练的分类网络时,可以有效改进最终精度。

在训练过程中,每一阶段选择不同的学习率,如下图:

另外,作者提出了一种在推断阶段对heatmap进行Soft-Argmax以获得更精确位置信息的方法B-Soft-Argmax。

实验结果

作者在COCO姿态估计数据集上进行了实验。

在COCO验证集上的结果:

在COCO test-dev集上的结果:

可见该文提出的方法,精度与SimpleBaseline相当,相比于SOTA 方法HRNet精度要低一些,但在参数量与FLOPs上仅为后者的1/30左右。

下图为LPN与SOTA方法精度与FPS的比较:

结果是在 Intel i7-8700K CPU上运行得出的,可见该文提出的 LPN 处于一骑绝尘的位置,LPN-50 可以达到 33 FPS,大约是SimpleBaseline152和HRNet-W32的推理速度的3倍。而大型网络LPN-152 AP可以达到 71 ,仍有 23 FPS。

总之,该文提出了一种轻量级、高效的姿态估计网络架构,更具有实用价值。

目前还未发现该文有开源代码。

论文地址:

https://arxiv.org/pdf/1911.10346v1.pdf

本文分享自微信公众号 - 我爱计算机视觉(aicvml),作者:CV君

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-11-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 令人惊讶的手机端实时 4K 风格迁移!谷歌又出牛文

    Joint Bilateral Learning for Real-time Universal Photorealistic Style Transfer

    CV君
  • 工程之道 | CPU推理性能提高数十倍,MegEngine计算图、MatMul优化解析

    在深度学习大规模落地边缘端场景的今天,如何最大程度降本增效,是企业与开发者共同关注的话题。其中,模型的训练与推理是两个关键环节。

    CV君
  • 效果好,速度快!大连海事大学提出基于增强多任务学习的单图像去雨算法MENET

    Multi-Task Learning Enhanced Single Image De-Raining 基于增强的多任务学习的单图像去雨

    CV君
  • Python之Flake8 - Coding Style检查自动化的利器

    参考文档: http://blog.csdn.net/gaoyingju/article/details/50449522 http://fla...

    小小科
  • PG数据库版本查看方法,sql语句查pg数据库版本方法

    PG 数据库和 oracle 数据库的查看数据库版本的 sql 语句还不一样。 PG 数据库版本查看方法如下:

    小蓝枣
  • 张全蛋和李小花的故事——“代理模式”

    举个例子: 假设张全蛋喜欢上了李小花,张全蛋准备给李小花送一些礼物,但张全蛋又非常害羞,因此买了礼物之后让王尼玛代送。王尼玛跑到李小花把礼物送给她之后就走了。 ...

    大闲人柴毛毛
  • win10 uwp 获取文件夹出错

    参见:http://stackoverflow.com/a/42969965/6116637

    林德熙
  • PostgreSQL postgresql 读书会 一期 6 EFFECTIVE_CACHE_SIZE 到底什么意思

    有时候一本书不是每一章或者每一部分都写的让你觉得可以仔细的阅读后能得到什么, 本期出于这个状态, 书中的第一句中提到 effecitve cache size ...

    AustinDatabases
  • 大数据行动:无现金社会是好事,还是坏事?

    所谓无现金社会,概言之,就是移动支付社会。这个概念的兴起,代表了中国移动支付市场开始向纵深推进,从商业交易到公共事务,从线上场景到线下场景。 这是腾讯和阿里两家...

    BestSDK
  • 【Web技术】 275- 理解 WebView

    我们通常使用 Chrome, Firefox, Safari, Internet Explorer 和 Edge 等浏览器来浏览网页。你也许正在使用其中一种浏览...

    pingan8787

扫码关注云+社区

领取腾讯云代金券