大会 | CVPR 18录用论文:利用量化提升医疗影像分割的准确度

AI 科技评论按:本文作者为圣母大学(University of Notre Dame)博士后徐小维,他为 AI 科技评论撰写了基于 CVPR 录用论文《Quantization of Fully Convolutional Networks for Accurate Biomedical Image Segmentation》的独家解读稿件,未经许可不得转载。

来自美国圣母大学和华中科技大学的研究者们提出了一种利用网络量化提升用于医疗影像分割的深度学习模型精度的优化方法。该方法创新性地将旨在压缩网络模型的量化方法应用到医疗影像分割深度学习模型中,相比于已有的方法,针对当前流行的 Gland 数据集可提升当前 state-of-the-art 的图片分割准确度达 1%-7.5%,同时获得压缩了的深度学习模型。该研究已被 CVPR 2018 接收。

论文下载地址: https://arxiv.org/pdf/1803.04907.pdf

医疗影像在当今医疗诊断中发挥重要作用。其中,旨在获取组织器官以及相关生物结构的影像分割是医疗影像中最重要的步骤之一,是进行疾病诊断、手术规划、治疗方案设计等的有力支持。传统的影像分割主要由病理专家进行手动分割,该过程单调且费时。然而,随着当前医疗影像的进一步普及,医疗影像无论在数量还是在种类上都急剧增加,传统的手动分割无法有效的处理大量多种类医疗影像。自动化医疗影像分割应运而生,但也面临着两大挑战:生物结构本身的多样性,以及医疗影像技术本身缺陷导致的低对比度和噪声等问题。

当前深度神经网络已经在医疗影像分割中展现出远超传统方法的准确度。Unet [1], DCAN [2,3], suggestive annotation [4] 等在多个医疗影像数据集上获得了令人惊喜的准确度提升。这些神经网络或是通过改变神经网络结构 [1], 或是改变训练中的目标函数 [2,3],或是优化选取的训练数据集 [4],来减少神经网络本身的过拟合。与此同时,网络量化被广泛用于对神经网络进行压缩,以减少参数数量和运算量。作者发现在某些情况下 [5, 6],网络量化也可以提升网络的分类精度,具有减少网络过拟合的潜能。因此,针对医疗影像分割问题,作者利用量化减少深度神经网络的过拟合,进而提升其准确度。

该论文的工作是基于已有工作 [4] 完成的。整个训练框架如图 1 所示。整个训练分成两步:提取训练集(QSA)和网络训练(QNT)[4]。针对这两步,作者利用网络量化来减少过拟合。在提取训练集中,通过选取合适的量化方法,提升训练出来的多个网络(FCN)的异化程度,使得选取出来的训练集本身具有更高的代表性(representative)(如图 2 所示)。在网络训练中,作者利用量化,减少过拟合,进一步提升网络准确度。

图 1 量化训练框架

图 2 量化可以获取更高的网络异化,进而获取更具代表性的数据集

作者针对 Gland 数据集 [7] 对该方法进行了大量实验。通过对不同的量化方法进行对比,作者发现合适的量化往往可以获得最佳的准确度,如图 3 所示——不量化会引起过拟合,而量化程度过高会引起欠拟合。如表 1 所示,与已有的工作对比,该工作可以获得最佳的准确度。在六项比较中,该工作获得五项第一,一项第二的优异性能。

图 3 不同量化方法的准确度差异:合适的量化会得到最佳的准确度

表 1 与已有工作的比较

[1] O. Ronneberger, P. Fischer, and T. Brox. U-net: Convolutional networks for biomedical image segmentation. In Inernational Conference on Medical Image Computing and Computer-Assisted Intervention, pages 234–241. Springer, 2015.

[2] H. Chen, X. Qi, J.-Z. Cheng, P.-A. Heng, et al. Deep contextual networks for neuronal structure segmentation. In AAAI, pages 1167–1173, 2016.

[3] H. Chen, X. Qi, L. Yu, and P.-A. Heng. Dcan: Deep contouraware networks for accurate gland segmentation. In Proceedings of the IEEE conference on Computer Vision and Pattern Recognition, pages 2487–2496, 2016.

[4] L. Yang, Y. Zhang, J. Chen, S. Zhang, and D. Z. Chen. Suggestive annotation: A deep active learning framework for biomedical image segmentation. arXiv preprint arXiv:1706.04737, 2017.

[5] S. Han, H. Mao, and W. J. Dally. Deep compression: Compressing deep neural networks with pruning, trained quantization and huffman coding. arXiv preprint arXiv:1510.00149, 2015.

[6] A. Zhou, A. Yao, Y. Guo, L. Xu, and Y. Chen. Incremental network quantization: Towards lossless cnns with lowprecision weights. arXiv preprint arXiv:1702.03044, 2017.

[7] K. Sirinukunwattana, J. P. Pluim, H. Chen, X. Qi, P.-A. Heng, Y. B. Guo, L. Y. Wang, B. J. Matuszewski, E. Bruni, U. Sanchez, et al. Gland segmentation in colon histology images: The glas challenge contest. Medical image analysis, 35:489–502, 2017.

[8] Y. Xu, Y. Li, M. Liu, Y. Wang, M. Lai, I. Eric, and C. Chang. Gland instance segmentation by deep multichannel side supervision. In International Conference on Medical Image Computing and Computer-Assisted Intervention, pages 496–504. Springer, 2016.

[9] Y. Xu, Y. Li, Y. Wang, M. Liu, Y. Fan, M. Lai, and E. Chang. Gland instance segmentation using deep multichannel neural networks. IEEE Transactions on Biomedical Engineering, 2017.

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2018-03-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能LeadAI

如何感性地理解EM算法?

如果使用基于最大似然估计的模型,模型中存在隐变量,就要用EM算法做参数估计。个人认为,理解EM算法背后的idea,远比看懂它的数学推导重要。idea会让你有一个...

39430
来自专栏利炳根的专栏

学习笔记CB007:分词、命名实体识别、词性标注、句法分析树

概率图模型条件随机场适用观测值条件下决定随机变量有有限个取值情况。给定观察序列X,某个特定标记序列Y概率,指数函数 exp(∑λt+∑μs)。符合最大熵原理。基...

638110
来自专栏AI科技评论

学界 | Ian Goodfellow推荐论文:增加机器学习的防御就能解决鲁棒性问题?天真!

论文简介 这篇论文的名字为为「Adversarial Example Defenses: Ensembles of Weak Defenses are not ...

358100
来自专栏新智元

【GAN大盘点】十款神奇的GAN,总有一个适合你!

【新智元导读】YannLecun曾赞誉GAN为“近十年来机器学习领域最有趣的想法”,一经提出便受万众瞩目。伴随着研究的逐步深入,GAN已然衍生出了多种多样的形态...

11220
来自专栏机器之心

专访 | 对抗样本攻防战,清华大学TSAIL团队再获CAAD攻防赛第一

同样在去年,该团队在 NIPS 2017 AI 对抗性攻防竞赛的三项比赛任务中(有/无特定目标攻击;攻击检测),全部获得冠军,战胜了包括斯坦福、约翰霍普金斯大学...

32110
来自专栏听雨堂

地图坐标

1、椭球面 地图坐标系由大地基准面和地图投影确定,大地基准面是利用特定椭球体对特定地区地球表面的逼近,因此每个国家或地区均有各自的大地基准面,我们通常称谓的...

230100
来自专栏人工智能头条

卷积神经网络模型如何辨识裸体图片

25650
来自专栏红色石头的机器学习之路

台湾大学林轩田机器学习基石课程学习笔记8 -- Noise and Error

上一节课,我们主要介绍了VC Dimension的概念。如果Hypotheses set的VC Dimension是有限的,且有足够多N的资料,同时能够找到一个...

27600
来自专栏AI研习社

话题 | 恺明大神又发新作 Rethinking ImageNet Pre-training,读过论文的你怎么看?

社长为你推荐来自 AI 研习社问答社区的精华问答。如有你也有问题,欢迎进社区提问。

10520
来自专栏量子位

亚马逊专家揭秘:如何建立自动检测乳腺癌的深度学习模型

安妮 编译自 Insight Data Science 量子位出品 | 公众号 QbitAI 本文作者Sheng Weng,现亚马逊Alexa项目组数据专家,莱...

35780

扫码关注云+社区

领取腾讯云代金券