首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

X-HRNet:基于空间线性 self-attention 机制的轻量级人体姿态估计网络

2D 人体姿势估计旨在从整个图像空间中定位所有人体关节。但是想要实现高性能的人姿态估计,高分辨率是必不可少的重要前提,随之带来的是计算复杂度的提升,导致很难将其部署在广泛使用的移动设备上。因此,构建一个轻量且高效的姿势估计网络已经成为目前关注的热点。当前主流的人体姿态估计方式主要是通过2D单峰热图来估计人体关节,而每幅单峰热图都通过一对一维热向量进行投影重构。本文基于这一主流估计方式,研究发现了一种轻量级的高效替代方案——Spatially Unimensional Self-Attention (SUSA)。SUSA 突破了深度可分离 3×3 卷积的计算瓶颈,即降低了1 × 1卷积的计算复杂度,减少了 96% 的计算量,同时仍不损失其准确性。此外,本文将 SUSA 作为主要模块,构建了轻量级的姿态估计神经网络 X-HRNet。在 COCO 基准测试集上进行的大量实验表明了 X-HRNet 的优越性,而综合的消融实验则展示了 SUSA 模块的有效性。

02

tf.train.batch

在张量中创建多个张量。参数张量可以是张量的列表或字典。函数返回的值与张量的类型相同。这个函数是使用队列实现的。队列的QueueRunner被添加到当前图的QUEUE_RUNNER集合中。 如果enqueue_many为False,则假定张量表示单个示例。一个形状为[x, y, z]的输入张量将作为一个形状为[batch_size, x, y, z]的张量输出。如果enqueue_many为真,则假定张量表示一批实例,其中第一个维度由实例索引,并且张量的所有成员在第一个维度中的大小应该相同。如果一个输入张量是shape [*, x, y, z],那么输出就是shape [batch_size, x, y, z]。容量参数控制允许预取多长时间来增长队列。返回的操作是一个dequeue操作,将抛出tf.errors。如果输入队列已耗尽,则OutOfRangeError。如果该操作正在提供另一个输入队列,则其队列运行器将捕获此异常,但是,如果在主线程中使用该操作,则由您自己负责捕获此异常。

01

Single-Shot Refinement Neural Network for Object Detection

对于目标检测,两阶段方法(如Faster R-CNN)的准确率最高,而单阶段方法(如SSD)的效率较高。为了在继承两种方法优点的同时克服它们的缺点,本文提出了一种新的单阶段检测器,称为RefineDet,它比两阶段方法具有更好的精度,并保持了与单阶段方法相当的效率。RefineDet由两个相互连接的模块组成,即锚点细化模块和目标检测模块。具体来说,前者的目的是(1)过滤掉负锚点,减少分类器的搜索空间,(2)粗调锚点的位置和大小,为后续回归器提供更好的初始化。后一个模块以改进后的锚为输入,进一步改进回归,预测多类标签。同时,我们设计了一个传输连接块来传输锚点细化模块中的特征,以预测目标检测模块中目标的位置、大小和类标签。多任务丢失功能使我们能够以端到端方式训练整个网络。在PASCAL VOC 2007、PASCAL VOC 2012和MS COCO上的大量实验表明,RefineDet能够以高效的方式实现最先进的检测精度。

01
领券