7 Papers & Radios | UC伯克利尤洋博士论文；GPT自动证明数学题
7 Papers & Radios | UC伯克利尤洋博士论文；GPT自动证明数学题
机器之心 & ArXiv Weekly Radiostation
参与：杜伟、楚航、罗若天
本周的重要论文包括 UC 伯克利尤洋的博士论文以及 GPT 用于自动证明数学题的研究。
目录：
- Learning to summarize from human feedback
- Generative Language Modeling for Automated Theorem Proving
- Fast and Accurate Machine Learning on Distributed Systems and Supercomputers
- Adversarial Machine Learning in Image Classification: A Survey Towards the Defender's Perspective
- SRFlow: Learning the Super-Resolution Space with Normalizing Flow
- From Vision to Text: A Brief Survey for Image Captioning
- Amaran: An Unmanned Robotic Coconut Tree Climber and Harvester
- ArXiv Weekly Radiostation：NLP、CV、ML 更多精选论文（附音频）
论文 1：Learning to summarize from human feedback
- 作者：Nisan Stiennon、Long Ouyang、Jeff Wu 等
- 论文链接：https://arxiv.org/pdf/2009.01325.pdf
摘要：随着语言模型越来越强大，用于特定任务的数据和度量标准越来越成为训练和评估的瓶颈。例如，摘要模型通常被训练用来预测人类参考摘要，并使用 ROUGE 进行评估，但是这些度量指标都没有触及真正的关注点——摘要质量。
近日，OpenAI 的一项研究表明，人们可以通过训练模型来优化人类偏好，进而显著提升摘要质量。具体而言，研究者收集了一个人类摘要比较的大型、高质量数据集，训练了一种模型来预测人类偏好的摘要，并使用该模型作为奖励函数通过强化学习来微调摘要策略。
人类反馈、奖励模型训练和策略训练整体流程图。
该奖励模型泛化到评估 CNN/DM 摘要。
推荐：研究中的模型还可以迁移至 CNN/DM 新闻文章，在不进行任何特定新闻微调的情况下生成几乎和人类参考摘要一样好的结果。
论文 2：Generative Language Modeling for Automated Theorem Proving
- 作者：Stanislas Polu、Ilya Sutskever
- 论文链接：https://arxiv.org/abs/2009.03393
摘要：大名鼎鼎的 Transformer 架构不仅在 NLP 领域呼风唤雨，还能用于计算机视觉，比如目标检测。但仅仅这样就足够了吗？最近，OpenAI 研究者尝试用基于 Transformer 的语言模型做自动定理证明（ATP）！
这项研究使用基于 Transformer 的语言模型，为 Metamath 形式化语言提供了自动证明器和证明助理（proof assistant）GPT-f。GPT-f 能够发现新的简短证明，这些证明已被 Metamath 主库接收。研究者称这是深度学习系统提供的证明首次被形式数学社区采纳。
GPT-f 证明助理的界面。
证明搜索树。
推荐：由 GPT-f 发现的 23 个简短证明已被 Metamath 主库接收。
论文 3：Fast and Accurate Machine Learning on Distributed Systems and Supercomputers
- 作者：尤洋
- 论文链接：https://www2.eecs.berkeley.edu/Pubs/TechRpts/2020/EECS-2020-136.pdf
摘要：今年 7 月，尤洋从加州大学伯克利分校毕业，获得计算机科学博士学位。目前已入职新加坡国立大学计算机系任助理教授（终身制）。近日，他在社交媒体上介绍了自己的博士论文。这篇论文聚焦于快速且准确的机器学习训练。尽管生产团队希望能够充分利用超级计算机来加快训练过程，但传统的优化器无法扩展到数千个处理器。该研究设计了一系列基础优化算法，来为深度学习系统实现更强的并行度。这些算法为谷歌、英特尔、腾讯、英伟达等公司的 SOTA 分布式系统提供了支持。
尤洋。
尤洋及合作者提出了 LARS 优化器、LAMB 优化器以及 CA-SVM 框架，缩小了机器学习与分布式系统之间的差距。
推荐：这篇论文的重点是缩小高性能计算（HPC）和机器学习（ML）之间的差距。
论文 4：Adversarial Machine Learning in Image Classification: A Survey Towards the Defender's Perspective
- 作者：Gabriel Resende Machado、Eugênio Silva、Ronaldo Ribeiro Goldschmidt
- 论文链接：https://arxiv.org/pdf/2009.03728.pdf
摘要：这是一篇图像分类对抗机器学习方面的最新综述论文。
CNN 标准架构示意图。
计算机视觉领域主要的对抗攻击算法。
推荐：论文作者均来自巴西。
论文 5：SRFlow: Learning the Super-Resolution Space with Normalizing Flow
- 作者：Andreas Lugmayr、Martin Danelljan、Luc Van Gool、Radu Timofte
- 论文链接：https://arxiv.org/pdf/2006.14200.pdf
摘要：超分辨率是一个不适定问题（ill-posed problem），它允许对给定的低分辨率图像做出多种预测。这一基础事实很大程度上被很多当前最优的深度学习方法所忽略，这些方法将重建和对抗损失结合起来，训练确定性映射（deterministic mapping）。
近日，来自苏黎世联邦理工学院计算机视觉实验室的研究者提出了一种新的超分辨率模型 SRFlow。该模型是一种基于归一化流的超分辨率方法，具备比 GAN 更强的脑补能力，能够基于低分辨率输入学习输出的条件分布。
该研究展示了基于人脸图像以及其他超分辨率图像实验，结果表明 SRFlow 在 PSNR 和感知质量度量上都优于当前最优的 GAN 方法，同时 SRFlow 允许探索超分辨率解空间，以实现生成图像的多样性。
基于 GAN 的 ProgFSR 与基于归一化流的 SRFlow 的对比结果。
SRFlow 的架构示意图。
推荐：该论文已被 ECCV 2020 收录。
论文 6：From Vision to Text: A Brief Survey for Image Captioning
- 作者：魏忠钰、范智昊、王瑞泽、承怡菁、赵王榕、黄萱菁
- 论文链接：http://jcip.cipsc.org.cn/CN/abstract/abstract2995.shtml
摘要：近年来，跨模态研究吸引了越来越多学者的关注，尤其是连接视觉和语言的相关课题。来自复旦大学的几位研究者针对跨视觉和语言模态研究中的核心任务——图像描述生成，进行文献综述。该文从基于视觉的文本生成框架、基于视觉的文本生成研究中的关键问题、图像描述生成模型的性能评价和图像描述生成模型的主要发展过程四个方面对相关文献进行介绍和总结。
不同的图像标注模型在 MSCOCO 测试集 (Karpathy) 上的性能。
不同的图像描述生成模型在 MSCOCO 评估服务器上的性能。
推荐：该文给出了几个未来的重点研究方向，包括跨视觉和语言模态的特征对齐、自动化评价指标的设计以及多样化图像描述生成。
论文 7：Amaran: An Unmanned Robotic Coconut Tree Climber and Harvester
- 作者：Rajesh Kannan Megalingam、 Sakthiprasad Kuttankulangara Manoharan、Sreekanth Makkal Mohandas 等
- 论文链接：https://sci-hub.tw/10.1109/tmech.2020.3014293
摘要：近日，《IEEE/ASME Transactions on Mechatronics》刊登了一篇描述爬树机器人的论文。论文作者设计了一款名为 Amaran 的爬树机器人，它可以代替人类采摘员爬上高达十几米的椰子树采摘椰子。
在实验室测试过程中，Megalingam 及其同事发现，当树干与垂直轴的倾角达到 30 度时，Amaran 能够顺利爬上椰子树。在一些特定环境条件下，很多椰子树都是以这样的倾角生长，由此为这款机器人提供了丰富的实际操作场景。
Robotic Climber 的结构示意图。
Robotic Harvester 整体装配示意图。
推荐：这个机器人或许可以「解放」人类爬树摘椰子的苦力。
ArXiv Weekly Radiostation
机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation，在 7 Papers 的基础上，精选本周更多重要论文，包括NLP、CV、ML领域各10篇精选，并提供音频形式的论文摘要简介，详情如下：
本周 7 篇 NLP 精选论文是：
1. Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function. (from Ruslan Salakhutdinov)
2. Quantifying the Causal Effects of Conversational Tendencies. (from Sendhil Mullainathan)
3. Central Yup'ik and Machine Translation of Low-Resource Polysynthetic Languages. (from Richard Socher)
4. Dynamic Context-guided Capsule Network for Multimodal Machine Translation. (from Jiebo Luo)
5. kk2018 at SemEval-2020 Task 9: Adversarial Training for Code-Mixing Sentiment Classification. (from Yu Sun)
6. ERNIE at SemEval-2020 Task 10: Learning Word Emphasis Selection by Pre-trained Language Model. (from Yu Sun)
7. KILT: a Benchmark for Knowledge Intensive Language Tasks. (from Sebastian Riedel)
本周 10 篇 CV 精选论文是：
1. ePointDA: An End-to-End Simulation-to-Real Domain Adaptation Framework for LiDAR Point Cloud Segmentation. (from Yang Gao, Trevor Darrell, Kurt Keutzer)
2. Semi-supervised Medical Image Segmentation through Dual-task Consistency. (from Yinan Chen)
3. Few-Shot Hyperspectral Image Classification With Unknown Classes Using Multitask Deep Learning. (from Liangpei Zhang)
4. Region Comparison Network for Interpretable Few-shot Image Classification. (from Jiebo Luo)
5. Towards Unique and Informative Captioning of Images. (from Olga Russakovsky)
6. Binarized Neural Architecture Search for Efficient Object Recognition. (from Li'an Zhuo, David Doermann)
7. LaSOT: A High-quality Large-scale Single Object Tracking Benchmark. (from Haibin Ling)
8. Attribute Adaptive Margin Softmax Loss using Privileged Information. (from Nasser M. Nasrabadi)
9. Interactive Visual Study of Multiple Attributes Learning Model of X-Ray Scattering Images. (from Wei Xu)
10. Real-Time Selfie Video Stabilization. (from Ravi Ramamoorthi)
本周 10 篇 ML 精选论文是：
1. Generative Language Modeling for Automated Theorem Proving. (from Ilya Sutskever)
2. Dynamic Scheduling for Stochastic Edge-Cloud Computing Environments using A3C learning and Residual Recurrent Neural Networks. (from Rajkumar Buyya)
3. Adversarial Attack on Large Scale Graph. (from Liang Chen)
4. Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior. (from Yan Zhang, Yang Wang, Shuicheng Yan, Meng Wang)
5. From Two-Class Linear Discriminant Analysis to Interpretable Multilayer Perceptron Design. (from C.-C. Jay Kuo)
6. Addressing Fairness in Classification with a Model-Agnostic Multi-Objective Algorithm. (from Boi Faltings)
7. Multilinear Latent Conditioning for Generating Unseen Attribute Combinations. (from Maja Pantic)
8. A Real-time Contribution Measurement Method for Participants in Federated Learning. (from Li Liu)
9. Conditional Uncorrelation and Efficient Non-approximate Subset Selection in Sparse Regression. (from Nanning Zheng)
10. Phasic Policy Gradient. (from John Schulman)
