前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >【图像分割模型】多感受野的金字塔结构—PSPNet

【图像分割模型】多感受野的金字塔结构—PSPNet

作者头像
用户1508658
发布2019-07-28 14:19:46
1.5K0
发布2019-07-28 14:19:46
举报
文章被收录于专栏:有三AI

1 为什么要用金字塔结构提取特征

从本系列前面的文章我们已经了解到,对于分割任务而言,上下文信息的利用情况对于分割的效果是有明显影响的。这里我们就具体谈谈这个影响的原因。

通常来讲,我们判断一个东西的类别时,除了直接观察其外观,有时候还会辅助其出现的环境。比如汽车通常出现在道路上、船通常在水面、飞机通常在天上等。忽略了这些直接做判断,有时候就会造成歧义。比如下图中,在水面上的船由于其外观,就被FCN算法判断成汽车了。

从左到右分别为:图像、真值、FCN结果和PSPNet结果。

除此之外,由于金字塔结构并行考虑了多个感受野下的目标特征,从而对于尺寸较大或尺寸过小的目标有更好的识别效果。

从左到右分别为:图像、真值、FCN结果和PSPNet结果。

可见,同时考虑不同感受野下的上下文信息是十分必要的。下面我们就一起来具体看一下金字塔池化模型。

2 金字塔池化模型

尽管ResNet的感受野在理论上已经可以达到大于输入图像尺寸,但是Zhou等人也证明了CNN的经验感受野实际上比理论值小很多。因此,需要一个更有效的全局先验的描述方式。

下图是论文中提出的基于金字塔池化模型的网络结构。其中,虚线框出来的部分属于金字塔池化模型。

实验中分别用了1x1、2x2、3x3和6x6四个尺寸,最后用1x1的卷积层计算每个金字塔层的权重,再通过双线性恢复成原始尺寸。

最终得到的特征尺寸是原始图像的1/8。最后在通过卷积将池化得到的所有上下文信息整合,生成最终的分割结果。

此外,文中还应用了两个损失函数,分别用于约束主干分割网络和校正网络。以ResNet101为例,损失所处位置如下图所示。

3 实验结果

为了验证金字塔结构的有效性,PSPNet的作者对其进行了一系列的剥离实验。具体结果如下表所示:

ADE20K数据库下的分割结果:

下图是PASCAL VOC 2012数据库下的实验结果:

总结

本文我们了解了上下文信息整合的多尺度估计网络PSPNet和其中的金字塔池化模型。除了同种特征的堆叠,我们还可以利用多特征融合提升分割的效果。下期我们就一起来看一下ParseNet。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-05-09,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 有三AI 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
数据库
云数据库为企业提供了完善的关系型数据库、非关系型数据库、分析型数据库和数据库生态工具。您可以通过产品选择和组合搭建,轻松实现高可靠、高可用性、高性能等数据库需求。云数据库服务也可大幅减少您的运维工作量,更专注于业务发展,让企业一站式享受数据上云及分布式架构的技术红利!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档