本周AI热点回顾：GAN压缩法使算力消耗不到1/9，开源生成器让你的照片秒变手绘日漫

这个开源动漫生成器让你的照片秒变手绘日漫

尽管最近 2019 年的图灵奖颁给了计算机图形学、颁给了皮克斯 3D 动画，但很多人可能认为二维动漫更有意思一些。像宫崎骏、新海诚这些大师手绘下的动漫，才有了灵魂，张张都能成为壁纸，而整个日漫也以二维为核心。

如果有模型能将真实画面转化为日漫风格的手绘画面，那一定非常炫酷。最近机器之心发现确实有这些模型，从 CartoonGAN 到 AnimeGAN 都能生成非常有意思的图像。

图片源于：机器之心根据真实店铺照片生成的效果图

虽然原项目给出的最佳示例很多都是街景，但发现各种场景也都还行，如下是试用的原图与生成效果。看看第一张樱花道生成效果，忽然有一种《千与千寻》的感觉。

项目地址：

https://github.com/TachibanaYoshino/AnimeGAN

信息来源：机器之心

02

15个产业级算法推出、35个高精度预训练模型上线！

2020年，“新基建”正给中国科技发展带来新的重大机遇，人工智能基础设施面临全面升级。深度学习框架正是推动产业智能化进阶的重要基础设施。近日，百度飞桨在智能视觉领域实现重大升级。

此次，PaddleCV最新全景图首度曝光。其中，PaddleDetection、PaddleSeg、PaddleSlim和Paddle Lite重磅升级；全新发布3D视觉和PLSC超大规模分类2项能力。同时，PaddleCV新增了15个在产业实践中广泛应用的算法，整体高质量算法数量达到73个；35个高精度预训练模型，总数达到203个。

PaddleCV全景图

PaddleCV依托于飞桨底层核心技术以及百度大脑软硬一体AI大生产平台的优势，贯通了从核心技术、生态应用，再到商业化解决方案的整套体系，支撑百度视觉成为目前业内规模最大、技术栈最全面、生态体系最完善的视觉技术平台，形成可自我持续迭代优化的闭环。

如全景图所示，PaddleCV主要从三方面更新核心技术能力：

PaddleDetection模块种类与性能全面提升，YOLOv3大幅增强，精度提升4.3%，训练提速40%，推理提速21%；人脸检测模型BlazeFace新增NAS版本，体积压缩3倍，推理速度提速122%；新增IoU损失函数类型，精度再提升1%，不增加预测耗时。在模型方面，新增3个类型，基于COCO数据集的精度最高开源模型CBNet，高达53.3%；Libra-RCNN模型精度提升2%；Open Images V5成为目标检测比赛最佳单模型。

目标检测模型在实际部署时，由于耗时和内存占用，仍然存在很大挑战。基于此，PaddleSlim提供了多种高效的模型压缩方法，助推PaddleDetection性能到达全新高度。使用蒸馏模型压缩方案可提升验证精度2%；裁剪模型压缩方案大幅降低FLOPs；蒸馏+裁剪模型压缩方案，基于COCO数据集进行测试，可以加速2.3倍。此外，PaddleDetection还为开发者提供了从训练到部署的端到端流程，并提供一个跨平台的图像检测模型的C++预测部署方案。

首先，PaddleCV基于Paddle Lite多硬件支持能力的优势，与昆仑芯片进行深度联合优化，实现端到端软硬一体能力的完全领先和自主可控。以制造业为例，百度与微亿智造联合打造了智能自动化监测设备“表面缺陷视觉检测设备”，区别于传统人工肉眼检查电子零件的方式，既保障质检环节的检查质量与效率，也进一步缓解了由于疫情原因造成的人力缺乏问题。

信息来源：飞桨PaddlePaddle

03

韩松、朱俊彦等人提出GAN压缩法：算力消耗不到1/9，现已开源

生成模型 GAN 是机器学习领域里最为重要的发展方向之一。但这类算法需要消耗巨量算力，大多数研究者已经很难得出新成果。近年来，这一方向颇有被大型机构垄断的趋势。

但近日，来自麻省理工学院（MIT）、Adobe、上海交通大学的研究者提出了一种用于压缩条件 GAN 的通用方法。这一新技术在保持视觉保真度的同时，将 pix2pix，CycleGAN 和 GauGAN 等广泛使用的条件 GAN 模型的计算量减少到 1/9~1/21。该方法适用于多种生成器架构、学习目标，配对或非配对设置。

目前该研究的论文已被 CVPR 2020 大会收录。

在研究者们展示的 Demo 中，使用 CycleGAN 为视频中的马添加斑马条纹所需的算力不到 1/16，帧数提高了三倍，而且效果还有所提升。该研究所使用的硬件平台是英伟达的边缘 AI 计算芯片 Jetson Xavier GPU。根据官方公布的数据，Jetson Xavier 的 INT8 算力为 22+10TOPS，骁龙 865 则是 15TOPS。压缩后的 GAN 现在看来已经可以跑在机器人、无人机等小型设备上了，未来塞进手机指日可待。

项目链接：

https://github.com/mit-han-lab/gan-compression

信息来源：机器之心

04

物理学突破深度学习理论瓶颈？Google-斯坦福阐述深度学习机制

3月16日，英特尔研究院与美国康奈尔大学的研究人员在《自然-机器智能》（Nature Machine Intelligence）杂志上联合发表了一篇论文，展示了英特尔Loihi神经拟态研究芯片闻味识危的能力。详情请见：1亿神经元，英特尔发布神经拟态计算系统

虽然深度学习革新了很多应用，但是背后的理论作用机制一直没有得到统一的解释。最近来自谷歌大脑和斯坦福的学者共同在Annual Review of Condensed Matter Physics 发布了深度学习统计力学的综述论文《Statistical Mechanics of Deep Learning》，共30页pdf，从物理学视角阐述了深度学习与各种物理和数学主题之间的联系。

虽然深度神经网络在机器学习领域取得了惊人的成功，但这对它们成功背后的理论原理提出了深刻的疑问。作者回顾了最近的工作，其中物理分析方法植根于统计力学已经开始提供这些问题的概念上的见解。这些见解产生了深度学习与各种物理和数学主题之间的联系，包括随机景观、旋转玻璃、干扰、动态相变、混沌、黎曼几何、随机矩阵理论、自由概率和非平衡统计力学。事实上，统计力学和机器学习领域长期以来一直享有强耦合交叉作用的丰富历史，而统计力学和深度学习交叉领域的最新进展表明，这些交叉作用只会进一步深化。

论文地址：

https://www.annualreviews.org/doi/abs/10.1146/annurev-conmatphys-031119-050745

信息来源：机器学习研究组

05

本周论文推荐

【CVPR2020】长尾数据特征学习新方法：为尾部样本构造特征云

作者：Jialun Liu, Yifan Sun, Chuchu Han, Zhaopeng Dou, Wenhui Li

论文介绍：

长尾数据下的特征学习格外困难。解决尾部类别样本少、类内多样性不足的根本做法是增加样本。那么如何增加？作者在这个工作中提出了为尾部类别构造云、用“特征云”来充实尾部类的方法。与之前的工作不同，其他人都利用生成对抗网络（GAN），为尾部类别生成额外的“虚构”样本，取得了更好的提升。然而，真的需要在原始图像空间来增加吗？GAN的训练与调用都非常消耗资源，有没有更实用、高效的办法？作者的工作给出了更巧妙、高效的解决。

作者的方法直截了当地聚焦到了特征空间，在学到的特征空间中，为尾部ID增加一些虚拟的样本。这些新增的虚拟样本就像电子云缠绕原子核一样，缠绕在实际样本四周，因此形象地称之为“feature cloud”。任何cloud的本质是一个概率模型，如何建立这个“feature cloud”的概率模型呢，这里提出向头部ID学习，使尾部ID保持“矮要承认，挨打站稳”的低姿态，既然自身由于样本数量稀少，导致类内多样性不足，那么就以谦虚的态度向头部ID 学习，将头部ID 的类内多样性transfer到尾部ID。因此，作者的方法可以非常直观地描述为——用特征云填充尾部类别单薄的特征空间，就像电子云填充空荡荡的原子一样。

论文地址：

https://arxiv.org/abs/2002.10826

END