专栏首页计算机视觉perceptual loss(感知loss)介绍,解释做到详细

perceptual loss(感知loss)介绍,解释做到详细

Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network论文下载地址

图1. 图像的超分辨率也用了perceptual loss

图像超分辨率的loss

    原代价函数使重建结果有较高的信噪比PSNR,但是缺少了高频信息,出现过度平滑的纹理。重建的高分辨率图像与真实的高分辨率图像无论是低层次的像素值上,还是高层次的抽象特征上,和整体概念和风格上,都应当接近。所以,根据图像风格转移时的内容损失和风格损失就可以参考使用,在那篇论文中对纹理的重建使用了高层全局信息+底层细节信息。也就是我们所说的感知特征。

Perceptual Losses for Real-Time Style Transfer and Super-Resolution论文下载地址。

图2. 图像分割转移也用了perceptual loss,注意看蓝线加黑线呦,她就是内容损失,而且它作用在较低层特征层上的。然后同样看红线和黑线,她就是风格损失,他是作用在从低到高所有特征层上。图像风格转移元老级文章


perceptual loss是是如何做的?

    它是将真实图片卷积得到的feature与生成图片卷积得到的feature作比较,使得高层信息(内容和全局结构)接近,也就是感知的意思。

论文中是如何使用的?

    图二左边是图像转移网络,右边是损失网络。这里对风格迁移变换yc相当于输入图像X,ys就是输入的风格图片,y算是content Target和Style Target的基本结合。在风格重建时,高层特征,全局结构,纹理明显。内容重建时,底层特征,边缘,颜色,细节信息多,效果越好。

转移网络内容的特征重建loss,φj(y)是y的第j层输出特征层

转移网络风格的特征重建loss,φj(x)是x的第j层输出特征层

损失网络有什么优点?

    风格转移或者超分辨率中,速度快,GAN中收敛效果好,具有高频细节信息。

为什么用perceptual loss收敛速度快?

    回传导数时,相比于MSE对pixel与pixel之间的差异, 回传分布更具有普适性。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 为stackGan一个工程创建一个虚拟环境,python 2.7 tensorflow0.12-tensorflow 1.01

    安装conda 下载地址:https://repo.continuum.io/miniconda/Miniconda2-latest-Linux-x86_64...

    水球喵子
  • 图片风格转移A Neural Algorithm of Artistic Style

    这篇论文的目的,如下图所示。把我们的图变成梵高的风格,厉害了~ ? 上图为原图,下图为调整后的图 传统图像风格迁移的过程是:分析图像风格(比如说梵高的星空这种蓝...

    水球喵子
  • 对抗生成网络-文字到图片的合成Generative Adversarial Text to Image Synthesis

    新的一年,新的开始,好想发论文啊!废话不多说,下面讲下文字到图片的生成。 ? 文字生成图片 ? 最有代表的一张图怕是这个了,牛人,大佬 RNN可用来对文字进行判...

    水球喵子
  • CODING 敏捷看板全新上线,助力研发管理可视化升级

    看板这个概念源于丰田公司生产系统的精益思想,它是一种可视化的管理系统,目的是对生产过程做出渐进的变革,当可视化的方法与敏捷软件研发模式结合,就产生一种叫“敏捷看...

    CODING研发管理系统
  • 社区云改变业务的十个方式

    根据美国密歇根大学的一份调查显示,在社区中的客户比那些没有在社区中的客户多购买企业19%的产品或服务,仅这个原因也就足够成为我们为客户搭建一个在线社区的理由了(...

    臭豆腐
  • 联邦学习、线上信贷、金融安全课程开始报名 | 产业安全公开课

    本次「产业安全公开课」金融安全专场中,邀请了来自腾讯安全和深信服的三位安全专家,分别对金融领域中的非接触式信贷安全、数据保护和融合、银行数字化转型等方面进行金融...

    腾讯安全
  • JavaWeb开发中的文件访问路径

    服务端的地址指的是相对于你的Web应用的地址,这个地址是在服务器端解析的(不同于HTML和JavaScript中的地址,他们是在浏览器端解析的),也就是说这时候...

    卡尔曼和玻尔兹曼谁曼
  • MyBatis分页插件PageHelper的使用

    从图中可以看出,mybatis中首先要在配置文件中配置一些东西,然后根据这些配置去创建一个会话工厂,再根据会话工厂创建会话,会话发出操作数据库的sql语句,然后...

    似水的流年
  • Struts2获取web对象的4种方式

    Struts2是如何获取web中 request、session、application的了,Struts2有4种方式获取web对象 1.通过Servlet...

    汤高
  • DDD学习手记 | 洞见

    2006年,国内互联网才刚刚萌芽,大家甚至还不习惯网购,大多数在校生都在宿舍里刷魔兽世界副本。但企业软件开发却得到了蓬勃发展,各大公司和事业单位都纷纷进行信息化...

    ThoughtWorks

扫码关注云+社区

领取腾讯云代金券