笔记 |《深度学习原理与TensorFlow实践》学习笔记（四）

目录

• CNN应用之图像风格化实例
  • 如何量化风格
  • 快速风格化的两种模型训练生成风格的滤镜
• 生成对抗网络介绍GAN
  • GAN的基本思想
  • GAN的基本框架
  • GAN的适用场景
  • 课程推荐资料

CNN应用之图像风格化实例

Image Style Transfer Using Convolutional Neural Networks (CVPRR16) [http://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Gatys_Image_Style_Transfer_CVPR_2016_paper.pdf]

如何量化风格

• 图像风格化：运用深度学习的方法将普通图片与艺术作品进行融合，使普通照片具有名画的画风。
• 什么是画风呢？色彩？笔触？在CNN应用中则定义为可以捕捉的纹理。
• 纹理提取：
  • 通过反卷积重建（风格重建和内容重建），可以查看VGGNet不同层次提取的纹理特征。
  • 风格重建：浅层（a、b、c层）纹理较细密，深层图案更完整（风格信息保留，内容信息丢失）。
  • 内容重建：浅层（a、b、c层）更接近原图，深层像素细节信息丢失，但保留了内容信息。 @VGG网络在风格和内容量化提取中的作用

  

• 图像风格化目标：
  • 根据风格和内容的量化指标，合成图需要在内容维度上逼近照片，在风格维度上逼近绘画。
  • Gatys 等人利用预先训练好的 VGGNet 来提取图片中内容和风格的数值化特征，然后定义了一种特殊的损失函数来评估合成图片符合“风格”的程度，然后再使用 SGD 的方法不断修正合成图的各个像素以使损失值变小。
• 代价函数定义：

• 提取风格的VGGNet ：
  • 为每一层网络分配名称，方便访问
  • 参数从mat文件中加载
  • 代码：https://github.com/DeepVisionTeam/TensorFlowBook/tree/master/neural_style/neural_style.py

@分配了名称的VGG-19

快速风格化的两种模型（训练生成风格的滤镜）

• 实时风格迁移（Real-time Style Transfer）的核心思路：以 neural style 的研究为基础，基于 VGGNet 所提取出的高维抽象特征构建损失函数，同时使用一个图像变换卷积网络来存储风格的纹理特征，然后将训练好的网络直接作为滤镜使用即可完成对图片的风格变换。
• 滤镜模式：构建一个图像迁移网络，固定一个风格图，用大量照片轮番训练网络，使网络保留风格，同时对内容保持足够的泛化程度。 @风格滤镜系统结构

• 风格转换网络：
  • 塔式网络 Texture Net [PDF] [Github] （保留图片内容，同时学习风格）输入必须固定（512，512，3）
  • 残差网络 Image Transform Net [PDF][Github]，输入可以是任意shape，只涉及图片本身的缩放，无需固定尺寸
• 训练框架 https://github.com/DeepVisionTeam/TensorFlowBook/tree/master/neural_style/fast_neural_style.py

生成对抗网络介绍（GAN）

GAN的基本思想

• 警方和假币制造者：造假币的人（生成器，generator）想尽量造出警方无法识别的假币，警方（判别器，discriminator）希望尽可能的识别出真币和假币。
• GAN（Generative Adversarial Networks）：引入判别模型，生成模型要尽量去模仿、建模和学习真实数据的分布规律；而判别模型则是要判别自己所得到的一个输入数据，究竟是来自于真实的数据分布还是来自于一个生成模型。 GAN的优化过程就是在寻找生成模型和判别模型之间的一个纳什均衡。
• 生成模型：将一个随机变量（可以是高斯分布，或0到1之间的均匀分布），通过参数化的概率生成模型，进行概率分布的逆变换采样，从而得到一个生成的概率分布。https://blog.openai.com/generative-models

• 生成模型的损失定义（优化目标）
  • 传统生成模型：最大似然估计

GAN的基本框架

• 假设我们设计一个图片分类器 D 来识别一系列描述动物的图片。同时，图片分类器还有一个对手 G，目标是用一些看起来像动物但其实并不是真实的图片来迷惑 D。G 在训练集（隐空间，latent space）中随机采样正常的样本，然后在这些正常样本的特征中加入随机噪声，以此合成具有迷惑性的图片样本。D 则交替接受真实样本和虚假样本，来进行迭代训练。

GAN的适用场景

• 超分辨率重建（Super Resolution）
  • Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network [paper：https://arxiv.org/abs/1609.04802]

  

• 内容识别填充
  • Improved Training of Wasserstein GANs [paper：https://arxiv.org/abs/1704.00028]

  

• pix2pix自动上色
  • Image-to-Image Translation with Conditional Adversarial Networks [paper：https://arxiv.org/pdf/1611.07004v1.pdf] [GitHub：https://github.com/phillipi/pix2pix]

  

感谢《深度学习基础与TensorFlow实践》课程主讲王琛老师~~

相关阅读

《深度学习原理与TensorFlow实践》学习笔记（一）

《深度学习原理与TensorFlow实践》学习笔记（二）

《深度学习原理与TensorFlow实践》学习笔记（三）

没看够？点击阅读原文~~边学边看~~

原文链接： http://blog.csdn.net/applecore123456/article/details/74857954