Guetzli:谷歌家的东西可能也没有想像的辣么美

作者介绍:腾讯后台工程师,专注图片压缩及存储系统一百年不动摇,并致力于做一名相关前沿技术的人话翻译家。

这两天笔者的朋友圈被Google开源JPEG编码器Guetzli刷屏,“图片大小减小35%”、“质量不变”这样的字眼刺激了我们的肾上腺,OMG的yajunwang同学也为我们带来了第一手的测试资料——谷歌开源图片压缩算法Guetzli实测体验报告

如果这样的神器真的如此神,那还有WebP啥事儿呢。于是我们抱着强烈的好奇心实地考察了这个连名字都不知道怎么念的新鲜事物。

结论是:

  1. 在基于相同客观质量(以ssim为评价标准)的条件下观察主观视觉效果,Guetzli的优势是有效改善了传统JPEG在低质量条件下“振铃效应”产生的伪影;劣势是Guetzli编码出的图片在质量较低时(quality=70)有一定的“钝化效应”,对于图片中细节精细的部分,Guetzli丢掉了较多的信息。
  2. 同样基于相同客观质量条件下(并不以填的quality参数为标准,为什么不以它为标准参见“原理解析”小节)图片大小与传统jpg相比并无明显优势。400x300组Guetzli大概比传统jpg的编码结果减小了19%,800x600组Guetzli和传统jpg基本持平,1920x1080组Guetzli反而大出了10%。
  3. 延时方面,Guetzli编码器对于主流的非高清图规格(如400x300, 800x600)的处理延时在秒级或10+秒级,业务主流jpg压缩工具对于相同规格的处理延时均在50ms以内

原理解析:

Guetzli基于同样来源于google的图片视觉差异评价工具Butteraugli。Butteraugli的评价体系基于三个传统方法没有考虑的原则:

  • 人眼对强黄色光附近蓝光变化是不敏感的,因此黄光区域附近的蓝光可以用更少的bit来编码
  • 人眼对蓝光有着较低的空间分辨率,视网膜中用于分辨高清细节的区域没有蓝色光的受体,故高频区域的蓝色光部分可以用更粗的粒度编码。
  • 将图像中的噪声区域分辨出来进行粗粒度的编码。

基于这三点,Guetzli主要从两方面下手来进行:

  1. 对全局量化表进行微调,这一步和我们调整质量参数本质上是一样的
  2. 对DCT系数的高频部分进行有选择的丢弃。

第二步就比较tricky了。通常在我们使用例如libjpeg等工具压缩jpg图片时降低质量参数本质上就是在量化步骤按照一定规则丢弃高频信息,最终反映在jpg的quality中。Guetzli相当于绕开了制定好的量化规则降低了质量而且不告诉用户,让用户以为仍然保持了质量(怎么感觉google也有了一点流氓气质呢,2333)。所以在后续测试中我们发现,在相同ssim条件下,传统jpg的质量参数可以比Guetzli编码出来的jpg低大约20个点。原因主要就在这里。

Guetzli总的处理流程是尝试多种量化表及DCT系数两个方面的可能性,然后分别将尝试的结果放到Butteraugli评测工具中评分,最后选择一张它认为最好的结果返回给用户。所以它的处理时延特别长。用verbose参数打开Guetzli的log可以发现,平均一张图大概它将尝试接近30次的迭代。

测试样本:

分别选取400x300, 800x600, 1920x1080三种分辨率的jpg格式图片各10张(本来还选取了4032x3024的iPhone照片分辨率图片做测试,但是由于时间有限,这部分待后续进行)。三种分辨率的图片在选取的过程中综合考虑主色调的不同、明暗灰度的不同、场景的不同(人工合成的图片还是自然风景照)以考察该编码是否尽可能多的适用于不同场景。

测试场景及指标:

该编码器有quality参数可以指定,注释掉对于quality必须大于84部分的代码之后可以设置0-100任意值,经过第一轮初步测试发现,quality<70 以下的时候其实编码出的图片已经没有变化(为什么还需要进一步研究),故实际选取 quality 70, 75, 80, 85, 90为测试对象。从编码时延、同psnr(ssim)指标下图片size的对比以及视觉效果还有内存消耗四个方面进行评估。

测试环境及工具:

C1机型:Intel Xeon CPU E3-1230 V2 3.30GHz

测试工具:ImageMagick、Guetzli编码器、evalvid视频质量评价工具集

测试结果:

时延、内存消耗、带宽节省

SSIM检测

检测方法是首先分别用ImageMagick和Guetzli分别用40-90的quality参数进行重新解码和编码,然后对每个质量的结果图与原图分别解码成yuv源数据格式,最后用evalvid视频质量评测工具集中的psnr工具进行ssim评测,框架图可表示为:

当我们设定了以ssim1=ssim2为标准时候反过来再观察两种编码工具各自设定的quality值。经过统计发现,传统jpg的质量比Guetzli的质量平均大约小21。举个例子也就是说,传统jpg的50质量和Guetzli编码器的70质量在客观质量评价体系当中是等价的。

同ssim下图片大小对比:

应用场景的思考

Guetzli编码器本质上弱化了quality参数在编码流程中的作用,可以比喻为jpg编码界的“小米”,其效果类似于加强版的七牛图片“瘦身”功能。

因此对于图片细节要求不高且对图片质量不甚了解的用户或者当面对一个业务因为需要节省流量同时又不希望图片质量受太大影响而对质量参数选择困难时,Guetzli是一个不错的入门选择。从流程方面看,多次的迭代以及新的评价工具的加入是延时过长的主要原因,也许利用GPU并行化会是一个不错的优化方向。

相关推荐: 图片流量节省大杀器:基于CDN的sharpP自适应图片技术实践 【腾讯云的1001种玩法】 Laravel 整合万向优图图片管理能力,打造高效图片处理服务

原创声明,本文系作者授权云+社区-专栏发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

望昕宇的专栏

1 篇文章1 人订阅

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏牛客网

[缘分]霸面,四小时,百度算法offer

[待更新] 秋招快结束了,本想写点多家公司的面经记录一下,但是大都记不清了,只有百度的面试过程还记的清楚,希望能够帮助到今年的同学或者以后的学弟学妹。总的来说,...

3738
来自专栏AI科技大本营的专栏

观点 | 哈哈,TensorFlow被吐槽了吧

作者 | Nico 参与 | shawn 今天,一篇吐槽TensorFlow的文章在网上刷屏,到底是怎么回事呢?来看这位作者的抱怨有没有道理。 每隔几个月,我都...

28111
来自专栏腾讯移动品质中心TMQ的专栏

【AI专栏】识别类评测之数据篇

区别于传统测试的重路径,识别类评测更重数据。识别类的输入不被限制在软件可控范围内,而是包罗万象各种可能。不同的输入数据组合,得出来的评测结论也会截然不同。手机Q...

3100
来自专栏腾讯架构师的专栏

FPGA : 用“芯”做图

图像的压缩,从本质上是通过提高计算算力来降低存储和带宽。同时更加复杂的算法也带来计算算力的大量消耗和处理延时的增加。

6952
来自专栏社区的朋友们

识别类评测之数据篇

不同的输入数据组合,得出来的评测结论也会截然不同。手机QQ浏览器探索X三地评测团队在评测数据方面积累了一些经验,特地写此文章来和大家讨论下分享。

1160
来自专栏智能算法

美团推荐算法实践

前言 推荐系统并不是新鲜的事物,在很久之前就存在,但是推荐系统真正进入人们的视野,并且作为一个重要的模块存在于各个互联网公司,还是近几年的事情。 随...

3215
来自专栏目标检测和深度学习

九大深度学习框架

开源的深度学习神经网络正步入成熟,而现在有许多框架具备为个性化方案提供先进的机器学习和人工智能的能力。那么如何决定哪个开源框架最适合你呢?本文试图通过对比深度学...

3256
来自专栏专知

2018年Google TensorFlow开发者峰会亮点总结

本文由TensorFlow的产品经理Sandeep Gupta代表TensorFlow团队发布。 原文:https://medium.com/tensorflo...

36611
来自专栏机器学习之旅

应用:风控用户识别方法前言接下来,让我们来讲讲,一期我们做了什么?为了用Isolation Forest而不用其他的识别算法?为什么用当前的算法进行识别而不用其他的识别算法?当前的设计下存在哪些问题?

update: 18.1.1 :Frcwp已如期上线,满足本文中的所有方法,欢迎拍砖

842
来自专栏机器之心

业界 | Uber推出机器学习平台Michelangelo:全面处理工作流程推动AI民主化

选自Uber 作者:JEREMY HERMANN、MIKE DEL BALSO 机器之心编译 参与:黄小天、路雪、蒋思源 近日 Uber 提出了他们的机器学习平...

2986

扫码关注云+社区