专栏首页最新医学影像技术Tensorflow入门教程(三十六)——VNet3D+++

Tensorflow入门教程(三十六)——VNet3D+++

好久没有阅读最新的分割模型文章了,今天将分享Unet的改进模型UNet+++,通过理解该模型思想,在VNet3D基础上做了同样的复现,但是有些细节稍稍不同。

1、VNet模型

大家看过我之前的文章,肯定对VNet模型已经非常熟悉了,该结构出自2016年发表的一篇论文《V-Net:Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation》,关于该网络具体的细节可以阅读原文,我这里就不多说了。

2、全尺度跳跃连接模块

2020年4月份出来的一篇论文《UNet 3+: A Full-Scale Connected UNet for Medical Image Segmentation》中,作者在Unet和Unet++(NestedUnet)模型结构的基础上做了一些改进,作者说到由于Unet的跳跃连接直接将解码网络的输出拼接到编码网络的输入,特征尺度跨度太大,对最后的图像分割影响很大,而Unet++虽然在Unet的基础上改变了跳跃连接的方式,但是其跳跃连接方式不是全局尺度跳跃连接的,而且网络参数非常大,而作者提出的全局尺度跳跃连接是将低维特征和高维特征进行充分拼接融合,例如下面这个图所示。

我将详细的讲解一下这个模块思想:例如编码网络中的Xd3的构成就有5个部分拼接组成,第一个是解码网络中的最后一层Xe5通过4倍上采样恢复到跟Xe3一样图像大小,再经过一个卷积层得到64通道的特征图,第二个是解码网络的Xd4通过2倍上采样恢复到跟Xe3一样图像大小,再经过一个卷积层得到64通道的特征图,第三个是解码网络中的Xe3直接通过一个卷积层得到64通道的特征图,第四个是解码网络中的Xe2通过2x2的最大池化层,采样到Xe3一样图像大小,再经过一个卷积层得到64通道的特征图,第五个是解码网络中的Xe1通过两个2x2的最大池化层,采样到Xe3一样图像大小,再经过一个卷积层得到64通道的特征图,最后将这五个输出结果拼接,然后再经过一个卷积层和BatchNormalization层得到Xd3。而编码网络中的Xd4的构成也是5个部分拼接组成的,第一个是解码网络中的最后一层Xe5通过2倍上采样恢复到跟Xe4一样图像大小,再经过一个卷积层得到64通道的特征图,第二个是解码网络的Xd4通直接通过一个卷积层得到64通道的特征图,第三个是解码网络中的Xe3通过2x2的最大池化层,采样到Xe4一样图像大小,再经过一个卷积层得到64通道的特征图,第四个是解码网络中的Xe2通过两个2x2的最大池化层,采样到Xe4一样图像大小,再经过一个卷积层得到64通道的特征图,第五个是解码网络中的Xe1通过三个2x2的最大池化层,采样到Xe4一样图像大小,再经过一个卷积层得到64通道的特征图,最后将这五个输出结果拼接,然后再经过一个卷积层和BatchNormalization层得到Xd4结果,其他编码网络中的模块依次类推计算。

3、VNet3D+++网络

论文中Unet+++网络结构如下第三个图所示。

我在VNet3D的基础上复现了VNet3D+++,结构类似Unet+++,但是其中解码网络和编码网络的特征图通道数设置的不一样,复现的时候保持了解码网络和编码网络的特征图通道数个数一一对应,与论文中的比编码网络的特征通道数都是320是不一样的。

了大家更好的学习,我把VNet3d+++网络代码分享到github上:

https://github.com/junqiangchen/VNetFamily

如果大家觉得这个项目还不错,希望大家给个Star并Fork,可以让更多的人学习。如果碰到任何问题,随时留言,我会尽量去回答的。

本文分享自微信公众号 - 最新医学影像技术(MedicalHealthNews),作者:最新医学影像技术

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-04-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Tensorflow入门教程(四十四)——DRU-NET

    今天将分享Unet的改进模型DRU-NET,改进模型来自2020年的论文《AN EFFICIENT DEEP CONVOLUTIONAL NEURAL NETW...

    用户7498388
  • 医学图像处理案例(十)——SIFT3D(3D尺度不变特征变换)算法

    上述SIFT算子用于二维图像关键点检测,医学影像一般都是三维图像,所以要用SIFT3D算子来进行关键点检测。论文中《Volumetric Image Regis...

    用户7498388
  • 医学图像处理案例(九)——SIFT(尺度不变特征变换)算法

    在2004年,不列颠哥伦比亚大学的D.Lowe的论文《尺度不变关键点中的独特图像特征》中提出了一种新的尺度不变特征变换(SIFT)算法,该算法提取关键点并计算其...

    用户7498388
  • 【Unity游戏开发】SDK接入与集成——小白入门篇

      通常一款游戏开发到后期,一般都会涉及到第三方SDK的接入与集成,对于不熟悉SDK接入的同学来说,接SDK每次都是云里雾里,而熟悉SDK接入的同学又觉得不断地...

    马三小伙儿
  • 腾讯首度发布《雷霆行动网络黑产年度报告》

    腾讯公司首次向外发布《雷霆行动网络黑色产业链年度报告》总结了当前网络黑产的主要犯罪手法和趋势,同时联合公安部网络安全保卫局公布2014年度腾讯雷霆行动联合警方...

    腾讯研究院
  • Mapreduce程序中reduce的Iterable参数迭代出是同一个对象

    今天在对reduce的参数Iterable进行迭代时,发现一个问题,即Iterator的next()方法每次返回的是同一个对象,next()只是修改了Writa...

    囚兔
  • 【AutoML】强化学习如何用于自动模型设计(NAS)与优化?

    一直以来,网络结构的设计是一个非常需要经验且具有挑战性的工作,研究人员从设计功能更加强大和更加高效的模型两个方向进行研究,随着各类经典网络设计思想的完善,如今要...

    用户1508658
  • 2014年腾讯雷霆行动发布网络黑色产业链年度报告

    ?   1月20日,腾讯公司首次向外发布《雷霆行动网络黑色产业链年度报告》总结了当前网络黑产的主要犯罪手法和趋势,同时联合公安部网络安全保卫局公布2014年度...

    腾讯研究院
  • Wolfram|Alpha 化学分步解答方案:化学反应

    如果您正在学习化学,或者正在学习要求化学先修课程的学科,那么您就会知道所需教科书的价格是多少。为了解决这个问题,化学教育界已经开发了开放的教育资源,以提供免费的...

    WolframChina
  • “围剿”杀人机器人,周志华、Hinton等57位学界大牛出手了

    作者 | 费棋 一群类似杀人蜂的小型无人机冲入课堂,以人脸识别技术瞬间定位所有学生,将他们全部杀死。 这是去年 11 月伯克利大学教授 Stuart Russe...

    AI科技大本营

扫码关注云+社区

领取腾讯云代金券