7 Papers | AI写论文更近一步？联邦学习怎样与通信领域结合

机器之心整理

参与：一鸣、杜伟

本周推荐的论文主要有推特转载很多的论文摘要抽取和生成论文（AI 写论文似乎更有希望了？）、联邦学习和通信领域结合的综述论文等。同时还有谷歌的 VideoBERT、系统优化中的强化学习、神经架构搜索相关的综述和案例介绍论文。

目录：

1. Best Practices for Scientific Research on Neural Architecture Search
2. A View on Deep Reinforcement Learning in System Optimization
3. On Extractive and Abstractive Neural Document Summarization with Transformer Language Models
4. Federated Learning for Wireless Communications: Motivation, Opportunities and Challenges
5. Batch Normalization is a Cause of Adversarial Vulnerability
6. VideoBERT: A Joint Model for Video and Language Representation Learning
7. Towards Understanding the Importance of Shortcut Connections in Residual Networks

论文 1：Best Practices for Scientific Research on Neural Architecture Search

• 作者：Marius Lindauer、Frank Hutter
• 论文地址：https://arxiv.org/pdf/1909.02453.pdf

摘要：在本文中，研究者展示了一系列用于神经架构搜索（NAS）领域的最佳范例。

推荐：本文提出了很多关于 NAS 方面经典且有趣的应用案例。读者可以根据文中提供出的最佳范例检查清单，形成对自己设计的 NAS 模型的评价体系。

论文 2：A View on Deep Reinforcement Learning in System Optimization

• 作者：Ameer Haj-Ali、Nesreen K. Ahmed、Ted Willke、Joseph E. Gonzalez、Krste Asanovic 、Ion Stoica
• 论文地址：https://arxiv.org/pdf/1908.01275v3.pdf

摘要：很多现实世界的系统问题需要推出安装和管理系统所采取措施的长期影响。这些问题具有延迟以及往往循序聚合的奖励，其本身往往是强化学习问题，并且表现出了在深度强化学习中利用最近重大进展的时机。但在一些情况下，深度强化学习为何完美契合这一问题尚不清楚。有时，深度强化学习的性能并不优于 SOTA 解决方案。与此同时，在另一些情况下，随机搜索或贪婪算法（greedy algorithm）的性能优于深度强化学习。在本文中，研究者们回顾、探讨和评估了最近系统优化中使用深度强化学习的趋势，并提出了一组基础指标用以指导将来系统优化中使用深度强化学习的有效性评估。他们的评估包括挑战、问题类型、深度强化学习设置下的问题表达方式、嵌入、使用的模型以及有效性和鲁棒性。论文结尾，研究者讨论了进一步推进系统优化中强化学习融合所面临的挑战和潜在发展方向。

推荐：本文介绍了强化学习在系统优化中的一系列应用。通过这样的综述论文，读者可以了解什么时候使用深度强化学习，什么时候更适合使用随机搜索等其他算法。

论文 3：On Extractive and Abstractive Neural Document Summarization with Transformer Language Models

• 作者：Sandeep Subramanian、Raymond Li、Jonathan Pilault、 Christopher Pal
• 论文地址：https://arxiv.org/pdf/1909.03186.pdf

摘要：我们提出了一种通过神经摘要为超过数千词的长文本生成抽象摘要的方法。我们先在生成摘要之前执行一个简单的抽取步骤，然后再将其用于在相关信息上调整 transformer 语言模型，之后将其用于生成摘要。我们表明这个抽取步骤能显著提升摘要结果。我们还表明这个方法能得到比之前的使用复制机制的方法更抽象的摘要，同时还能得到更高的 rouge 分数。

这段摘要读起来怎么样？事实上，以上你看到的摘要内容都不是人类完成的，它是由论文中的机器学习模型写出来的。这是来自 Element AI 的研究者最新公布的研究成果，他们使用了一种类似 GPT 的方法生成了相关研究论文的摘要。

模型生成文本摘要的流程。首先使用两种模型进行文本抽取，然后再生成一段完整的文本。

推荐：本文是 Reddit 和推特讨论很火热的一篇论文，使用了 Transformer 模型，可生成论文的摘要。虽然文本摘要任务并不新鲜，但是本文提出的模型是目前而言效果较好的，使得文本摘要算法距离实际应用更近一步了。

论文 4：Federated Learning for Wireless Communications: Motivation, Opportunities and Challenges

• 作者：Solmaz Niknam、Harpreet S. Dhillon、Jeffery H. Reed
• 论文地址：https://arxiv.org/pdf/1908.06847v3.pdf

摘要：无线通信社区越来越有兴趣通过数据驱动且基于机器学习（ML）的解决方案来完善传统的、基于模型的设计方法。虽然传统的 ML 方法需要假设数据存在并要在中心实体（central entity）中处理 head，但是这些方法通常不适用于无线通信应用，因为私有数据表现出不可访问性，将原始数据传输至中心 ML 处理器所需的通信开销也非常大。因此，能够将数据保持在生成位置的分散化 ML 方法更具吸引力。得益于隐私保护特性，联邦学习与诸多无线应用息息相关，特别适用于 5G 网络。在本文中，研究者分别介绍了联邦学习的总体思路，探讨了 5G 网络中几种可能的应用，描述了未来无线通信背景下联邦学习研究所面临的的关键技术挑战和有待解决的问题。

联邦学习概念图示。

联邦学习在边缘计算和数据存储方面的应用。

推荐：联邦学习一直被认为是在近来既可以保证参与方拥有最好的模型，同时保护参与各方的数据安全和隐私。本文是一篇使用综述论文，介绍了联邦学习在数据安全敏感的通讯领域（特别是 5G）方面的应用，值得对机器学习和 5G、边缘计算等方面结合感兴趣的读者阅读。

论文 5：Batch Normalization is a Cause of Adversarial Vulnerability

• 作者：Angus Galloway、Anna Golubeva、Thomas Tanay、Medhat Moussa、Graham W. Taylor
• 论文地址：https://arxiv.org/pdf/1905.02161

摘要：批归一化是一种常用的方法，用于稳定和加速深度神经网络的训练。在许多案例中，批归一化的确降低了所需的参数量。然而，这同样也会降低神经网络对微小扰动的鲁棒性，有时候降低幅度可能高达两位数。进一步来说，使用权重降低来代替批归一化可以抵消神经网络对对抗样本的脆弱性和输入维度之间的关系。研究人员表示，这项工作和批归一化导致梯度爆炸的研究得出的结论是一致的。

推荐：本文是一篇有争议的观点性文章，认为批归一化是导致模型对对抗样本脆弱的罪魁祸首。至于观点是否正确，感兴趣的读者可以阅读论文并参与讨论。

论文 6：VideoBERT: A Joint Model for Video and Language Representation Learning

• 作者：Chen Sun、Austin Myers、Carl Vondrick、Kevin Murphy、Cordelia Schmid
• 论文地址：https://arxiv.org/pdf/1904.01766

摘要：谷歌的研究者提出了使用无标注视频学习时间表征的方法。据介绍，他们的目标是发现对应于更长时间尺度上的动作和事件的高层面语义特征。为了实现这一目标，他们借用了人类语言使用高级词汇来描述高层面的事物和事件的思路。在视频中，语音往往与视觉信号存在时间上的对应，而且可以通过现成的自动语音识别（ASR）系统提取出来，由此可作为自监督的一个自然来源。所以，谷歌这些研究者设计的模型的学习是跨模态的，因为其在训练过程中会联合使用视觉和音频（语音）模态的信号。

VideoBERT 的模型架构。

使用模型预测烹饪过程中的下一步操作。

推荐：本文是谷歌的一篇论文，介绍了谷歌在视频预测方面的进一步进展，以及使用 Transformer 架构在非文本数据以外的领域的应用。

论文 7：Towards Understanding the Importance of Shortcut Connections in Residual Networks

• 作者：Tianyi Liu、Minshuo Chen、Mo Zhou、Simon S. Du、Enlu Zhou、Tuo Zhao
• 论文地址：https://arxiv.org/pdf/1909.04653v2.pdf

摘要：残差神经网络在深度学习中是一个里程碑的成就。它使用了层之间的短连接，在训练中仅使用一阶算法就可以非常高效地训练。但是，能够取得这样好的效果的机制并不为人们所知。本文研究了一种双层非重叠的卷积残差神经网路。训练这种网络需要解决在局部优化中的非凸优化问题。然而，研究人员发现，与恰当归一化结合的梯度下降方法就可以避免模型陷入局部最优，并可以在多项式时间内收敛。在这种情况下，第一层的权重从 0 开始初始化，而第二层的权重则是随机初始化的。相关实验结果支持了作者的理论。

推荐：本文是一篇理解残差神经网络的论文，适合深度学习进阶级别的读者进一步理解残差神经网络内部的结构和数学原理。