本周AI热点回顾：StyleGAN和CLIP组了个CP？还能听懂修图指令；黑客用GitHub服务器挖矿，代码惊现中文！

用户1386409

发布于 2021-04-20 17:02:17

7450

发布于 2021-04-20 17:02:17

文章被收录于专栏：PaddlePaddlePaddlePaddle

修图动口不动手，有人把StyleGAN和CLIP组了个CP，能听懂修图指令那种

在最近的一篇论文中，来自希伯来大学、特拉维夫大学、Adobe 等机构的研究者提出了一种名为「StyleCLIP」的模型，几乎可以让你动动嘴皮子就把图修了。

这里用「几乎」是因为研究者给出的接口其实还是文字版的。如下图所示，如果你想让一只猫看起来可爱一点，只需要输入「cute cat」，模型就能够把猫的眼睛放大，同时改变其他影响其可爱值的特征。

StyleGAN+CLIP=StyleCLIP

GAN 模型的出现颠覆了图像生成领域，StyleGAN 更是其中的翘楚，可以生成极其逼真的图像。此外，研究者发现，StyleGAN 学到的中间隐空间拥有解耦特性，这使得利用预训练模型对合成图像以及真实图像执行各种各样的图像操作成为可能。

但对于用户来说，利用 StyleGAN 的强大表达能力来实现自己的意图并不容易。他们需要一个简单、直观的接口。现有的语义控制发现方法要么涉及手动检查，要么涉及大量带注释的数据，要么需要预训练的分类器。此外，后续操作通常是使用一个参数模型（如 StyleRig 中的 3DMM），通过在一个隐空间中沿着一个方向移动来执行。

在这篇论文中，研究者利用 OpenAI 最近推出的 CLIP（Contrastive Language-Image Pre-training）模型来支持基于文本的直观语义图像操作，既不限于预设的操作方向，也不需要额外的手工工作来发现新的 control。

论文链接： https://arxiv.org/pdf/2103.17249.pdf
项目链接： https://github.com/orpatashnik/StyleCLIP

信息来源：机器之心

CVPR2021 | 国防科大：基于几何稳定性分析的物体位姿估计方法

物体6D姿态估计是机器人抓取、虚拟现实等任务中的核心研究问题。近些年来，随着深度学习技术和图像卷积神经网络的快速发展，在提取物体的几何特征方面出现了许多需要改善的问题。国防科技大学的研究人员致力于通过将几何稳定性概念引入物体 6D 姿态估计的方法来解决问题。

近些年来，随着深度传感技术的快速发展，以 PPF 特征匹配算法为代表非学习方法和以 3DMatch 为代表的深度学习几何特征提取方法逐渐在位姿估计问题中崭露头角。这些方法虽然在多个公开数据集中取得了不错的效果，但是没有显式地约束几何特征提取和物体位姿的关系，因此制约了方法的可解释性和泛化性。

针对这一问题，国防科技大学的研究人员将几何稳定性概念引入了物体 6D 姿态估计，并提出了利用物体表面几何稳定（Geometrically stable）的面片组合（Patch group）预测物体姿态的方法 StablePose。StablePose 物体位姿估计模块的输入只有物体的深度信息，不包括 RGB 图像，能够有效处理无纹理、弱纹理物体的位姿估计问题。实验表明，StablePose 在多个实例位姿估计和类别位姿估计数据集上取得了最佳性能，能够处理物体间遮挡，具有良好的泛化性。论文的主要创新点包括：

将几何稳定性概念引入到物体 6D 姿态估计问题；
提出了基于几何稳定面块组合回归物体位姿的深度网络；
提出了用于处理对称物体、有遮挡的物体以及新颖物体的机制，增强了方法的稳定性。

论文地址: https://arxiv.org/abs/2102.09334

信息来源：机器之心

BERT和GAN咋压缩，且看咱PaddleSlim新利器——OFA

目前在深度学习领域，一方面需要追求更高的性能，采用强大、复杂的模型网络和实验方法；另一方面又需要关注如何将算法更稳定、高效地在硬件平台上落地。复杂的模型固然展现更好的性能，但过高的存储空间需求和计算资源消耗，是影响在各硬件平台上的落地的重要原因之一。尤其在NLP领域，以BERT、GPT为代表的预训练模型规模越来越大。

针对部署难题，可以使用剪枝、量化、蒸馏等传统的模型压缩技术，但是这些模型压缩技术整体的流程较长，直接串行结合的效果不佳。而OFA（Once For All）[1]技术巧妙地结合了剪枝、蒸馏和结构搜索策略，不仅提升了压缩效果，还简化了压缩流程。

百度飞桨模型压缩工具PaddleSlim新增支持OFA这一实用功能，并在BERT和GAN模型上做了验证：对于BERT模型实现了近2倍的加速；而对GAN模型则实现了33倍的体积压缩。除此以外，PaddleSlim还为用户提供了简单易用且低侵入的轻量级接口，用户无需修改模型训练代码，即可完成OFA压缩。

图 PaddleSlim OFA接口示意图

如上图所示，OFA涉及多个复杂的操作，包括按重要性对权重重排、剪枝、蒸馏、子模型搜索等，PaddleSlim将这些操作隐藏到底层，提供给用户简单的适用接口。更重要的是，PaddleSlim提供的接口对用户代码是低侵入的，用户不用修改现有的模型训练代码，通过调用PaddleSlim的转换接口即可将原有模型自动转换为超网络。

项目链接：

https://github.com/PaddlePaddle/PaddleSlim

信息来源：飞桨PaddlePaddle

C和C++不安全？谷歌宣布Android加入对Rust语言支持

Android 系统涉及很多组件，开发者会根据正在开发的 Android 部分而选择不同的编程语言。对于应用开发者来说，Java 和 Kotlin 是比较流行的选择；而对于从事操作系统以及内部底层的开发人员来说，C 和 C++ 是比较好的选择。

近日，谷歌为操作系统开发者增加了第 3 个选择 Rust。谷歌发布博客称 AOSP (Android Open Source Project) 现已支持使用 Rust 开发 Android 操作系统。

谷歌表示，用 Rust 重写数千万行的 C 和 c++ Android 代码根本不可行，而重写旧的 Android 不会有太大影响，因为到目前为止旧代码已经清除了大部分 bug。由于 Android 源代码是一个拥有数十亿用户的开源项目，很多人都在关注它。大部分内存 bug 都发生在新的或最近修改过的代码中，大约 50% 的错误发生在不到一年的时间里。必要时，Rust 将用于新组件，这将有助于减少谷歌可能引入的新内存 bug。