专栏首页最新医学影像技术图像融合生成对抗网络案例

图像融合生成对抗网络案例

前几篇文章给大家分享了各种基于小波变换方法的图像融合例子,今天我将分享如何使用生成对抗网络来进行图像融合。

一、FusionGAN网络结构

前面文章我已经分享过很多图像分割模型,例如UNet,VNet及其改进版本,这里我就不多说了,感兴趣的可以自己去阅读我的相关文章和GitHub项目。我在这里直接给出FusionGAN的网络结构,如下图所示。简单说明一下,FusionGAN是由生成网络和判别网络构成,生成网络采用的是VNet模型,判别网络采用的是常规分类网络,生成网络的输入是两幅多模态的原始图像,两幅原始图像经过VNet网络产生生成融合图像结果,然后将金标准融合图像和生成网络的融合图像一起输入到分类结构的判别网络中去进行真假判别。

二、用tensorflow实现FusionGAN

我已经用tensorflow实现了初始版本的GAN和Wasserstein GAN(这是GAN的改进版本,初始版本GAN训练的时候非常不稳定很难训练,WGAN训练的时候比较稳定,很快就能收敛看到以假乱真的生成图像)和VNet模型。只需将我在GitHub上的WGAN中的生成模型改成VNet模型就可以了,其它无需改动。

三、训练过程结果

FusionGAN的训练数据采用的是同一场景下的红外图像和自然图像,而红外图像与自然图像的融合图像是采用前面基于小波变换的自适应脉冲耦合神经网络方法来生成的。这里给出部分训练过程结果。

首先是生成网络损失函数和判别网络损失函数曲线训练结果。

然后是训练过程中生成的融合图像与金标准融合图像如下所示,可以看到随着不断训练生成的融合图像与金标准融合图像越来越相似。

四、生成融合图像效果

最后用训练好的FusionGAN模型来对输入红外图像和自然图像进行融合,并与基于小波变换的脉冲耦合神经网络融合结果进行比对,结果还是比较接近的,如下图所示。

本文分享自微信公众号 - 最新医学影像技术(MedicalHealthNews),作者:最新医学影像技术

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-02-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Tensorflow入门教程(二十)——基于VNet3D的前列腺分割案例

    在之前的篇章中我分享过用2D版本的VNet来进行MR图像的前列腺分割,但是2D版本的VNet是存在错误分割问题的,所以今天我将分享如何用Tensorfl...

    用户7498388
  • KiTS19——肾肿瘤分割挑战赛(十)

    最近,有很多朋友提出,肾脏分割模型在实际使用时会出现很多错误分割,很多大腿区域被错误分割出是肾脏区域。今天我将分享如何设计肾脏粗分割方法去除错误分割区域,使用的...

    用户7498388
  • 医学图像处理教程(一)——医学算法数据的基本概念

    在前面的文章中,已经给大家分享了很多图像处理案例和深度学习案例,但是还是有很多人提出很多问题,基本上都是对案例实现代码的理解不够透彻。从今天起我将开始分享医学图...

    用户7498388
  • 图像质量评估:BRISQUE

    我们都知道拍摄相片容易,但是想拍摄高质量的图片却很难,它需要良好的构图和照明。此外,选择正确的镜头和优质的设备也会提高图像的质量。但是,最重要的是,拍摄高质量的...

    小白学视觉
  • 深度学习研究总结:生成对抗网络(附 3 篇 arXiv 最火论文)

    【新智元导读】Yann LeCun曾说:“对抗训练是切片面包发明以来最令人激动的事情”。这篇文章中,作者回顾基于 Ian Goodfellow 在2014 年的...

    新智元
  • 用网络摄像头制作艺术品

    几千年来,人类文化的一个非常重要的特征就是艺术。没有其他物种能够创造出与Leo da Vinci或Van Gogh的画作有些相似的东西。甚至很多人都难以创造出这...

    代码医生工作室
  • MIT 更新最大自然灾害图像数据集,囊括 19 种灾害事件

    内容提要:麻省理工学院在最近 ECCV 2020 上提交的一篇论文中,发布了一套自然灾害图像数据集。这是迄今为止规模最大、质量最高的自然灾害卫星图像数据集。

    HyperAI超神经
  • C++ OpenCV图像的矩

    图像识别的一个核心问题是图像的特征提取,简单描述即为用一组简单的数据(数据描述量)来描述整个图像,这组数据月简单越有代表性越好。良好的特征不受光线、噪点、几何形...

    Vaccae
  • 高糊图片可以做什么?Goodfellow等人用它生成一组合理图像

    作者:David Berthelot、Peyman Milanfar、Ian Goodfellow

    代码医生工作室
  • AI读心术:想象一下,计算机就可以重现意念中的画面

    用户1737318

扫码关注云+社区

领取腾讯云代金券