专栏首页深度学习与pythonPizzaGAN:以前你教我做披萨饼,现在让我来教你

PizzaGAN:以前你教我做披萨饼,现在让我来教你

你可能不会做披萨饼,但现在你的深度学习模型已经学会了。麻省理工学院最新发布的深度学习模型PizzaGAN通过基于组合层的GAN模型来学习如何训练GAN模型以识别制作披萨饼。 该模型分为两部分:

  • 给定披萨的输入图像,训练PizzaGAN识别披萨上的配料
  • 给定披萨的输入图像,训练PizzaGAN提取出披萨上的配料

披萨饼配料表

在尝试训练深度神经网络制作披萨之前,我们首先需要弄清楚制作披萨的步骤和材料。虽然没有亲自做过或者见过披萨饼的制作过程,但总是缺不了面团,酱汁和奶酪的,然后添加其他的调料、香肠等等。

一旦我们明确目标流程,我们就可以开始训练一个模拟这些步骤的实际模型。例如,假设我们要做一个意大利辣香肠披萨,那么我们可以通过一系列步骤来模拟从我们的原始披萨到新的披萨的过程:

(1)明确我们要做的东西 - 意大利辣香肠披萨

(2)设定预期目标 - 在披萨上添加橄榄

添加橄榄后,另一位朋友可能会说:“我不喜欢意大利辣香肠,让我们用火腿!”这次我们有3个步骤:

(1)明确当前状态 - 意大利辣香肠和橄榄披萨

(2)第一个步骤 - 去掉意大利辣香肠

(3)第二个步骤 - 添加火腿

GAN如何制作比萨饼

数据集

用于训练PizzaGAN的比萨饼数据集由9213张图片组成,每张图片中都有一个披萨。 每个图像都有一组相应的标签,用于描述披萨上的配料,不包括面团,酱汁和基础奶酪。 例如如果披萨图像上有火腿和蘑菇,则该图像的标签为[火腿,香菇]。执行训练时,输出分类是单热编码的。 因此,使用火腿和蘑菇披萨,输出矢量的火腿和蘑菇元素设置为1.0,而其余元素设置为0.0。

发生器网络 - 添加和删除

回想一下构建披萨饼模型的一组连续步骤。 如果我们想要将香肠披萨改为火腿披萨,我们需要移除香肠,在后再添加火腿,所以我们需要一个网络来完成这部分功能。

因此训练发生器网络以模拟配料的添加或移除时, 给定披萨的输入图像,发生器预测披萨的输出图像,由于每个网络只能执行一个操作,所以我们需要训练两个网络,一个用于移除一个用于添加。一对PizzaGAN发生器的例子 如下图所示, 一个用于添加意大利辣香肠,另一个用于去除它。

由于PizzaGAN生成器的输入和输出图像之间的差异只是配料不同,因此输入和输出标签向量的分类向量元素的差异为1。

识别器 - 识别比萨饼配料

PizzaGAN发生器模型用于添加和删除披萨上的配料,那么我们需要训练识别器来识别当前披萨上的配料。给定比萨饼的输入图像,识别器网络进行一组多标签分类。 输出向量的每个元素对应于披萨饼上的配料元素。

例如在下图中,PizzaGAN识别器预测比萨饼上有意大利辣香肠,蘑菇和橄榄。 对应的这些配料的输出向量的元素被预测为1.0(或者高于用户设置阈值的某个值)。

PizzaGAN识别结果

基于识别器预测比萨饼上的配料和发生器能够添加和移除配料,PizzaGAN能够以非常高的准确度构建和分解比萨饼的图像。

参考

https://towardsdatascience.com/how-to-make-a-pizza-with-deep-learning-f3548e249dc9

深度学习与Python,专注于深度学习、机器学习前沿知识与资讯

本文分享自微信公众号 - 深度学习与python(PythonDC)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-06-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • CVPR2019 | 6D目标姿态估计,李飞飞夫妇等提出DenseFusion

    6D 目标姿态估计对许多重要的现实应用都很关键,例如机器人抓取与操控、自动导航、增强现实等。理想情况下,该问题的解决方案要能够处理具有各种形状、纹理的物体,且面...

    小白学视觉
  • 为什么不建议你入门计算机视觉

    作者:Jackpop https://zhihu.com/p/question/317440183 本文已授权,未经允许,不得二次转载

    小白学视觉
  • 机器学习在SAP Cloud for Customer中的应用

    关于机器学习这个话题,我相信我这个公众号1500多位关注者里,一定有很多朋友的水平比Jerry高得多。如果您看过我以前两篇文章,您就会发现,我对机器学习仅仅停留...

    Jerry Wang
  • 机器学习在客户管理场景中的应用

    版权声明:本文为博主汪子熙原创文章,未经博主允许不得转载。 https://jerry.bl...

    Jerry Wang
  • 纳米级无人机PULP Dronet仅重27克,具有强大的自主导航能力

    苏黎世联邦理工学院和博洛尼亚大学的研究人员开发了一个纳米级无人机,名为PULP Dronet,仅有27克,具有深度学习的视觉导航引擎。论文显示无人机可以在一个端...

    AiTechYun
  • 解读|基于多级神经纹理迁移的图像超分辨方法 (Adobe Research)

    超分辨(Super-Resolution)图像恢复旨在从低分辨模糊图像中恢复出高分辨的清晰图像,是计算机视觉中的一个重要任务,在工业界有非常强的应用前景。CVP...

    AI科技评论
  • 机器学习中的矩阵向量求导(五) 矩阵对矩阵的求导

        在矩阵向量求导前4篇文章中,我们主要讨论了标量对向量矩阵的求导,以及向量对向量的求导。本文我们就讨论下之前没有涉及到的矩阵对矩阵的求导,还有矩阵对向量,...

    刘建平Pinard
  • 机器学习在销售报价单的产品推荐场景中的作用

    版权声明:本文为博主汪子熙原创文章,未经博主允许不得转载。 https://jerry.bl...

    Jerry Wang
  • 谷歌开发新模型EfficientNets,缩放CNN的精度与效率超越现有模型

    卷积神经网络(CNN)通常以固定的资源成本开发,然后进行缩放,以便在获得更多资源时得到更好的精度。

    AiTechYun
  • SIGGRAPH提出的图像修复技术

    图像修复技术是一种用可选内容填充目标区域的技术,它的主要用途是在对象删除任务中,从照片中删除一个对象,并用希望能保持图像上下文完整性的内容自动替换被删除的部分。...

    小白学视觉

扫码关注云+社区

领取腾讯云代金券