什么是图像分割?
图1 图像分割应用效果图
如图1所示,随着人工智能的发展,图像分割技术已经在交通控制、医疗影像和工业用表识别等多个领域获得了广范的应用。为了让广大开发者可以方便快捷的将图像分割技术应用到自己的业务中,飞桨开发了一整套图像分割模型库,这就是我们接下来要介绍的PaddleSeg。
什么是PaddleSeg?
正因为上述特点,用户仅需要少量代码或指令就可以根据使用场景从PaddleSeg中选择并组合出合适的图像分割方案,从而更快捷高效地开发出从训练到部署的全流程图像分割应用。
如今PaddleSeg升级了!
图2 飞桨开源框架1.7版本上的PaddleSeg架构图
01
新增高精度图像分割模型HRNet
图3 HRNet网络结构图
如图3所示,HRNet以高分辨率子网开始作为第一阶段,逐个添加由高到低分辨率子网以形成更多阶段,同时并行连接多分辨率子网络。在整个过程中反复交换并行多分辨率子网络中的信息来进行重复的多尺度融合。在像素级分类、区域级分类和图像级分类任务中,都证明了这些方法的有效性。
这样的网络结构特点使得HRNet网络能够学习到更丰富的语义信息和细节信息,因此HRNet在人体姿态估计、语义分割和目标检测领域都取得了显著的性能提升。如下表所示,基于Cityscapes数据验证集进行测评,HRNet的分割精度最高。
HRNet模型使用教程请参见:
https://github.com/PaddlePaddle/PaddleSeg/blob/release/v0.4.0/turtorial/finetune_hrnet.md
02
新增实时语义分割模型Fast-SCNN
图4 Fast-SCNN网络结构图
Fast-SCNN最大的特点是“小快灵”,即该模型在推理计算时仅需要较小的FLOPs,就可以快速推理出一个不错的结果。如下表所示,在不需要预训练模型的情况下,输入尺寸为(1024,2048)的图片推理时, PaddleSeg实现的Fast-SCNN的FLOPs仅为7.21G,推理时间只需要6.28ms,而在基于Cityscapes验证数据集进行评测时,其mIoU评价能够达到0.6964,可见Fast-SCNN不仅速度快,而且效果良好。
Fast-SCNN模型使用教程请参见:
https://github.com/PaddlePaddle/PaddleSeg/blob/release/v0.4.0/turtorial/finetune_fast_scnn.md
03
分割模型压缩方案助力模型部署,FLOPs减少51%
在某些场景中,语义分割模型在实际部署时,可能会由于耗时、体积等多方面因素导致模型无法满足要求。此时模型压缩通常是解决内存占用和速度问题的有效手段。飞桨模型压缩工具PaddleSlim为PaddleSeg提供了多种分割模型的压缩方案,保障PaddleSeg可以顺利部署成功。
以L1 Pruning裁剪方案为例,该方案通过裁剪掉卷积核来减小模型体积并降低模型计算复杂度,是一种常用的有效裁剪方案。其原理如下所示。
图5 L1 Pruning原理图
以图5为例,ni是第i个卷积层的输入通道数,wi 和hi是输入特征图的宽和高。卷积层将输入维度为Xi的特征图转化为维度为Xi+1的输出特征图,且该特征图可以直接当作下一个卷积层的输入。该卷积核的维度为
,卷积层的加乘操作次数为
。如果将图中的第一个卷积核裁剪掉,则对应的一个特征图通道就没有了,这样将减少
次运算。
同时由于此处输出通道数的减少,将会连锁导致下一层的卷积通道维度的缩减,又减少了
次运算。这是因为当图中第一个卷积层的卷积核被剪掉以后,第二层保留的卷积核参数不仅是在卷积核个数这个维度上缩减了,还和第一个卷积层剪掉的卷积核个数有关,因此第一层卷积核的裁剪会间接导致了第二层卷积核在通道维度的缩减。
那么如何确定哪些卷积核可以被裁剪呢?其具体过程如下:
如下表所示,实验表明在Cityscapes数据集上,使用PaddleSlim对Fast-SCNN模型进行裁剪,能够确保在模型精度几乎无损的情况下,减少51%的FLOPs(每秒浮点运算次数),可以有效的提高运算速度。
如果您加入官方QQ群,您将遇上大批志同道合的深度学习同学。官方QQ群:703252161。
如果您想详细了解更多飞桨的相关内容,请参阅以下文档。
官网地址:
https://www.paddlepaddle.org.cn
飞桨PaddleSeg项目地址:
https://github.com/PaddlePaddle/PaddleSeg
飞桨开源框架项目地址:
GitHub: https://github.com/PaddlePaddle/Paddle
Gitee: https://gitee.com/paddlepaddle/Paddle
本文分享自 PaddlePaddle 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!