7 Papers & Radios | ICML、RSS顶会杰出、最佳论文；AlphaFold解锁98.5%人类蛋白质结构

机器之心 & ArXiv Weekly Radiostation

参与：杜伟、楚航、罗若天

本周的重要论文包括 ICML 2021 杰出论文、RSS 2021最佳论文等。

目录：

1. ViTGAN: Training GANs with Vision Transformers
2. TARE: A Hierarchical Framework for Efficiently Exploring Complex 3D Environments
3. Event Prediction in the Big Data Era: A Systematic Survey
4. Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies 
5. YOLOX: Exceeding YOLO Series in 2021
6. How Do Adam and Training Strategies Help BNNs Optimization?
7. Highly Accurate Protein Structure Prediction for the Human Proteome
8. ArXiv Weekly Radiostation：NLP、CV、ML 更多精选论文（附音频）

论文 1：ViTGAN: Training GANs with Vision Transformers

• 作者：Kwonjoon Lee、Huiwen Chang、Lu Jiang 等
• 论文地址：https://arxiv.org/pdf/2107.04589.pdf

摘要：近日，加州大学圣迭戈分校与 Google Research 的一项研究提出了使用视觉 Transformer 来训练 GAN。这篇论文的研究议题是：不使用卷积或池化，能否使用视觉 Transformer 来完成图像生成任务？更具体而言：能否使用 ViT 来训练生成对抗网络（GAN）并使之达到与已被广泛研究过的基于 CNN 的 GAN 相媲美的质量？他们遵照最本原的  ViT 设计，使用纯粹基本的 ViT 训练了 GAN。为了实现训练动态的稳定以及促进基于 ViT 的 GAN 的收敛，这篇论文提出了多项必需的修改。研究者在三个标准的图像合成基准上进行了实验。结果表明，新模型 ViTGAN 极大优于之前的基于 Transformer 的 GAN 模型，并且在没有使用卷积和池化时也取得了与 StyleGAN2 等领先的基于 CNN 的 GAN 相媲美的表现。

ViTGAN 模型架构。

生成器架构。

推荐：Transformer 也能生成图像，新型 ViTGAN 性能比肩基于 CNN 的 GAN。

论文 2：TARE: A Hierarchical Framework for Efficiently Exploring Complex 3D Environments

• 作者：Chao Cao、Hongbiao Zhu、Howie Choset、Ji Zhang
• 论文地址：https://roboticsconference.org/program/papers/018/

摘要：让机器人在复杂的 3D 空间中自主探索是一个颇具挑战性的问题，因为它需要同时完成两项任务：1）在线更新环境表示，以跟踪已探索的区域；2）搜索连续可遍历路径的表示，以引导机器人探索未知区域。在这篇论文中，研究者提出了一种在复杂 3D 环境中自主探索的方法，其探索速度比当前的 SOTA 方法还要快。具体来说，该方法使用了一种分层框架：第一层在局部规划范围内保持环境的高分辨率表示并计算详细路径；第二层在全局范围内保持环境的低分辨率表示并计算粗略路径。该架构表明，在机器人附近进行详细的数据处理是最高效的，牺牲远离机器人区域的细节计算可以提高计算速度。该方法根据路径的长度优化整个探索路径。此外，局部区域的路径在运动动力学上是可行的，机器人可以遵循该路径快速前进。

在实验中，该系统通过地面和空中机器人，自主探索了高维、复杂的室内外环境。与 SOTA 方法相比，该方法的探索效率（每秒平均探索量）提高了 80%，但消耗的算力还不到 SOTA 方法的 50%。

探索框架示意图。

其他方法的比较。

推荐：本文摘得机器人顶会 RSS 的最佳论文奖。

论文 3：Event Prediction in the Big Data Era: A Systematic Survey

• 作者：Liang Zhao
• 论文地址：https://dl.acm.org/doi/10.1145/3450287

摘要：事件是基于特定地点、时间和语义发生的对我们的社会或自然环境产生重大影响的事情，例如地震、内乱、系统故障、流行病和犯罪。能够提前预测此类事件的发生以减少潜在的损害是非常重要的。虽然事件预测传统上极具挑战性，但它现在正成为大数据时代的一种可行选择并正在经历快速增长。当然，这也归功于高性能计算机和 AI 技术的进步。最近来自艾默里大学的教授赵亮博士首次对该领域进行了全面的综述和数据代码资源整理。该工作全面总结了事件预测的问题定义、方法、应用、测评、数据以及未来发展方向。该工作刚刚发表在计算机综述顶刊 ACM Computing Surveys 上。

事件预测中不同的时间类型。

事件预测问题与技术分类。

推荐：37 页 pdf，埃默里大学最新「大数据时代事件预测」综述，ACM 顶级期刊上发表。

论文 4：Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies

• 作者：Paul Vicol、Luke Metz、Jascha Sohl-Dickstein
• 论文地址：http://proceedings.mlr.press/v139/vicol21a/vicol21a.pdf

摘要：目前，展开（unrolled）计算图应用在很多场景中，包括训练 RNN、通过展开优化微调超参数和训练可学习优化器等。但是，在这类计算图中优化参数的方法存在着高方差梯度、偏差、更新缓慢以及大量内存使用等诸多问题。

研究者提出了一种名为 Persistent Evolution Strategies （PES）的方法，它可以将计算图分成一系列截断的展开，并在每次展开后执行基于进化策略的更新步骤。PES 通过在整个展开序列上累积校正项消除这些截断的偏差，可以实现快速参数更新，具有低内存使用、无偏差以及合理的方差特征。实验表明，PES 在合成任务上展现出了与其他梯度估计方法的优势，并在训练可学习优化器和微调超参数方面具有适用性。

图右为一个展开计算图，展示了如何使用图左的公式 1 和公式 2 来描述 RNN 和展开优化。

PES 方法与其他在展开计算图中学习参数的方法的比较。

推荐：本文摘得 ICML 2021 杰出论文奖。

论文 5：YOLOX: Exceeding YOLO Series in 2021

• 作者：Zheng Ge、Songtao Liu、Feng Wang 等 
• 论文地址：https://arxiv.org/abs/2107.08430

摘要：随着目标检测技术的发展，YOLO 系列始终追寻可以实时应用的最佳速度和准确率权衡。学界人士不断提取当时最先进的检测技术（如 YOLOv2 的 anchor、YOLOv3 的残差网络），并对这些检测技术进行优化以实现最佳性能。目前而言，YOLOv5 在速度和准确率上有最好的权衡，在 COCO 数据集上以 13.7ms 的速度获得 48.2% AP。然而，过去两年时间里，目标检测领域的主要进展集中在无锚点检测器、先进的标签分配策略以及端到端的检测器。

但是，这些技术还没有集成到 YOLO 系列模型中，YOLOv4 、 YOLOv5 仍然还是基于 anchor 的检测器，使用手工分配策略进行训练。近日，旷视的研究者将解耦头、数据增强、无锚点以及标签分类等目标检测领域的优秀进展与 YOLO 进行了巧妙地集成组合，提出了 YOLOX，不仅实现了超越 YOLOv3、YOLOv4 和 YOLOv5 的 AP，而且取得了极具竞争力的推理速度。

YOLOv3 头与本文提出的解耦头之间的架构差异。

研究者提出的基于 YOLOX 模型的 2D 实时目标检测系统在 Argoverse-HD 数据集上实现了 41.1% 的 AP。

推荐：超越全系列 YOLO、Anchor-free + 技巧组合，旷视开源性能更强的 YOLOX。

论文 6：How Do Adam and Training Strategies Help BNNs Optimization?

• 作者：Zechun Liu、Zhiqiang Shen、Shichao Li 等
• 论文地址：https://arxiv.org/abs/2106.11309

摘要：二值化网络（BNN）是一种网络压缩方法，把原本需要 32 bit 表示的神经网络参数值和激活值都二值化到只需要用 1 bit 表示，即  -1/+1 表示。这种极度的压缩方法在带来优越的压缩性能的同时，会造成网络精度的下降。在今年的 ICML 会议中，一篇来自 CMU 和 HKUST 科研团队的论文仅通过调整训练算法，在 ImageNet 数据集上取得了比之前的 SOTA BNN 网络 ReActNet 高 1.1% 的分类精度，最终的 top-1 accuracy 达到 70.5%，超过了所有同等量级的二值化网络。

真实网络（real network）和二值网络的示意图。

该论文综合所有分析得出的训练策略，在用相同的网络结构的情况下，取得了比 state-of-the-art ReActNet 超出 1.1% 的结果。

推荐：二值化网络如何训练？这篇 ICML 2021 论文给你答案。

论文 7：Highly Accurate Protein Structure Prediction for the Human Proteome

• 作者：Kathryn Tunyasuvunakool、Jonas Adler、Zachary Wu
• 论文地址：https://www.nature.com/articles/s41586-021-03828-1

摘要：蛋白质由很多氨基酸长链组成，通过折叠成精确 3D 结构来完成无数的任务。这些结构控制着它们与其它分子互动的方式，决定了其功能以及它在疾病中的功能紊乱程度。阐明蛋白质的结构是分子生物学的核心议题，更是治疗患者、拯救生命、改变生活的医学发展的核心。

在这一领域，DeepMind 的 AlphaFold 被寄予厚望。在上周发表在《自然》杂志上的一篇论文中，DeepMind 表示，AlphaFold 预测的蛋白质结构已经能达到原子水平的准确度。

如今，这一成果的最大回报已经到来：其中一个研究小组刚刚宣布，他们已经使用新开发的 AlphaFold 预测出了 35 万种蛋白质的结构，包括人类基因组所表达的约 2 万种蛋白质和其他 20 种生物学研究中常用的模式生物（如大肠杆菌、酵母和果蝇）的蛋白质，是以前用实验方法解决的蛋白质数量的两倍多。该组织表示，未来，他们还将继续扩大预测的范围，将预测数量扩展至已编目的所有蛋白质，这大约要覆盖 1 亿个分子。

CASP14 的预测。

在 CASP14 中 AlphaFold 相对于其他方法的精度。

AlphaFold DB 对自各种生物体的预测示例。

推荐：高效预测 98.5% 的人类蛋白质结构，AlphaFold 再登 Nature，数据库全部免费开放。

ArXiv Weekly Radiostation

机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation，在 7 Papers 的基础上，精选本周更多重要论文，包括NLP、CV、ML领域各10篇精选，并提供音频形式的论文摘要简介，详情如下：

本周 10 篇 NLP 精选论文是：

1. Neural Abstructions: Abstractions that Support Construction for Grounded Language Learning.  (from Christopher D. Manning, Li Fei-Fei)

2. WikiGraphs: A Wikipedia Text - Knowledge Graph Paired Dataset.  (from Oriol Vinyals)

3. Beyond Goldfish Memory: Long-Term Open-Domain Conversation.  (from Jason Weston)

4. Cross-Lingual BERT Contextual Embedding Space Mapping with Isotropic and Isometric Conditions.  (from Philipp Koehn)

5. Self-Supervised Contrastive Learning with Adversarial Perturbations for Robust Pretrained Language Models.  (from Roger Wattenhofer)

6. A pattern recognition approach for distinguishing between prose and poetry.  (from Luciano da F. Costa)

7. Proactive Retrieval-based Chatbots based on Relevant Knowledge and Goals.  (from Kun Zhou)

8. As Easy as 1, 2, 3: Behavioural Testing of NMT Systems for Numerical Translation.  (from Jun Wang)

9. More Parameters? No Thanks!.  (from C V Jawahar)

10. Target-Oriented Fine-tuning for Zero-Resource Named Entity Recognition.  (from Ying Zhang)

本周 10 篇 CV 精选论文是：

1. Active 3D Shape Reconstruction from Vision and Touch.  (from Jitendra Malik)

2. YOLOX: Exceeding YOLO Series in 2021.  (from Jian Sun)

3. CCVS: Context-aware Controllable Video Synthesis.  (from Jean Ponce, Cordelia Schmid)

4. Unsupervised Discovery of Object Radiance Fields.  (from Leonidas J. Guibas)

5. Conditional Directed Graph Convolution for 3D Human Pose Estimation.  (from Lei Zhang)

6. Query2Label: A Simple Transformer Way to Multi-Label Classification.  (from Lei Zhang)

7. DSP: Dual Soft-Paste for Unsupervised Domain Adaptive Semantic Segmentation.  (from Dacheng Tao)

8. Compound Figure Separation of Biomedical Images with Side Loss.  (from Agnes B. Fogo)

9. ReSSL: Relational Self-Supervised Learning with Weak Augmentation.  (from Fei Wang, Changshui Zhang, Xiaogang Wang)

10. Adaptive Dilated Convolution For Human Pose Estimation.  (from Liang Wang, Tieniu Tan)

本周 10 篇 ML 精选论文是：

1. Visual Representation Learning Does Not Generalize Strongly Within the Same Domain.  (from Bernhard Schölkopf)

2. Distribution of Classification Margins: Are All Data Equal?.  (from Tomaso Poggio)

3. Species Distribution Modeling for Machine Learning Practitioners: A Review.  (from Pietro Perona)

4. The Benchmark Lottery.  (from Oriol Vinyals)

5. Using system context information to complement weakly labeled data.  (from Lothar Thiele)

6. Bridging the Gap between Spatial and Spectral Domains: A Theoretical Framework for Graph Neural Networks.  (from Lei Zhang, Charu Aggarwal, Chang-Tien Lu)

7. A Theory of PAC Learnability of Partial Concept Classes.  (from Noga Alon)

8. Preventing dataset shift from breaking machine-learning biomarkers.  (from Gaël Varoquaux)

9. GoTube: Scalable Stochastic Verification of Continuous-Depth Models.  (from Daniela Rus)

10. Benchmarking AutoML Frameworks for Disease Prediction Using Medical Claims.  (from Jason H. Moore)

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道：content@jiqizhixin.com