7 Papers & Radios | NLP新范式Prompt；用神经网络解决混合整数规划问题

机器之心 & ArXiv Weekly Radiostation

参与：杜伟、楚航、罗若天

本周重要论文包括 CMU 华人博士后撰写的关于 NLP 新范式 Prompt 的综述文章；DeepMind 利用神经网络求解混合整数规划（MIP）的研究。

目录：

1. Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing
2. FPGA-Based Hardware Accelerator of Homomorphic Encryption for Efficient Federated Learning
3. Neural Machine Translation with Monolingual Translation Memory
4. LICHEE: Improving Language Model Pre-training with Multi-grained Tokenization
5. I2UV-HandNet: Image-to-UV Prediction Network for Accurate and High-fidelity 3D Hand Mesh Modeling
6. Solving Mixed Integer Programs Using Neural Networks 
7. Neural Video Portrait Relighting in Real-time via Consistency Modeling
8. ArXiv Weekly Radiostation：NLP、CV、ML 更多精选论文（附音频）

论文 1：Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing

• 作者：Pengfei Liu、 Weizhe Yuan、 Jinlan Fu 等
• 论文地址：https://arxiv.org/pdf/2107.13586.pdf

摘要：近几年，NLP 技术发展迅猛，特别是 BERT 的出现，开启了 NLP 领域新一轮的发展。从 BERT 开始，对预训练模型进行 finetune 已经成为了整个领域的常规范式。但是从 GPT-3 开始，一种新的范式开始引起大家的关注并越来越流行：prompting。近段时间以来，我们到大量有关 prompting 的论文出现。从清华开源的论文列表 thunlp / PromptPapers 中，我们可以看到大量的相关研究。作为一个值得关注、学习的新方向，近日来自 CMU 的博士生刘鹏飞新推出的一篇相关综述论文作为学习资源备受推崇。

该综述研究试图通过提供 prompting 方法的概述和形式化定义，以及使用这些 prompt 的预训练语言模型的概述，来梳理这一迅速发展领域的当前知识状态。然后该论文对 prompt 方法进行了深入的讨论，包括 prompt 工程、answer 工程等基础和多 prompt 学习方法、prompt 相关的训练方法等更高级的概念。

本文结构概览。

不同的 multi-prompt 学习策略。

推荐：Fine-tune 之后的 NLP 新范式：Prompt 越来越火，CMU 华人博士后出了篇综述文章。

论文 2：FPGA-Based Hardware Accelerator of Homomorphic Encryption for Efficient Federated Learning

• 作者：Zhaoxiong Yang、Shuihai Hu、Kai Chen
• 论文地址：https://arxiv.org/pdf/2007.10560.pdf

摘要：港科大 iSing Lab 等机构的研究者以蒙哥马利模乘运算为核心，提出了一套基于 FPGA 的同态加密加速体系。该系统被设想为部署在云服务器端，这些服务器属于联邦学习的参与方。该系统包括上位机 CPU 以及 FPGA，二者使用 PCIe 接口通信。CPU 负责机器学习模型的正常训练工作，并将机器学习使用的浮点数编码为适配同态加密方案的大整数，同时它将加密请求分批发送给 FPGA；FPGA 中为 Paillier 加密设计了高性能处理器，且硬件模块被封装为 OpenCL 内核由 CPU 进行调用。

FPGA 联邦学习加速系统。

Karatsuba 快速乘法。

推荐：同态加密算力开销如何弥补？港科大等提出基于 FPGA 实现的同态加密算法硬件加速方案。

论文 3：Neural Machine Translation with Monolingual Translation Memory

• 作者：Deng Cai、Yan Wang、Huayang Li 等
• 论文地址：https://arxiv.org/abs/2105.11269

摘要：先前的一些工作已经证明翻译记忆库（TM）可以提高神经机器翻译 (NMT) 的性能。与使用双语语料库作为 TM 并采用源端相似性搜索进行记忆检索的现有工作相比，该研究提出了一种新框架，该框架使用单语记忆并以跨语言方式执行可学习的记忆检索。该框架具有一些独特的优势：首先，跨语言记忆检索器允许大量的单语数据作为 TM；其次，记忆检索器和 NMT 模型可以联合优化以达到最终的翻译目标。实验表明，该研究提出的方法获得了实质性的改进。值得注意的是，即使不使用额外单语数据，这种方法也要优于使用双语 TM 的 「TM-augmented NMT」基线方法。由于能够利用单语数据，该研究还证明了所提模型在低资源和领域适应场景中的有效性。

整体框架。

不同方法在测试集上的主要结果，所有实验的一般模式都是一致的，由结果可得：TM 越大，模型的翻译性能越好。

推荐：ACL 2021 | 腾讯 AI Lab、港中文杰出论文：用单语记忆实现高性能 NMT。

论文 4：LICHEE: Improving Language Model Pre-training with Multi-grained Tokenization

• 作者：Weidong Guo、Mingjun Zhao2、Lusheng Zhang 等
• 论文地址：https://arxiv.org/pdf/2108.00801.pdf

摘要：在这篇 ACL 论文中，腾讯看点和阿尔伯塔大学的研究者提出了一种简单但高效的预训练方法——荔枝 LICHEE。该方法可以在预训练阶段有效利用多种粒度的输入信息来增强预训练语言模型（PLM）的表示能力。具体来说，LICHEE 首先会将输入文本处理成细粒度和粗粒度 token。这些 token 会被传送到两个嵌入层，生成对应的向量表示。接下来，两种向量表示通过池化操作进行融合，形成多粒度嵌入向量，作为 PLM 编码器的输入。最后，我们得到由 PLM 编码器生成的增强上下文表示（包含细粒度和粗粒度信息）并将其用于下游任务。

在 CLUE 和 SuperGLUE 上进行的实验表明，该方法在中、英两种语言的多个自然语言理解任务中都能带来全面的性能提升，而且几乎不增加额外的推理成本。采用该方法的最优集成模型在 CLUE 基准上实现了 SOTA 性能。

使用荔枝做特征抽取器，在词法分析任务 CLUENER 和千言数据集文本相似度任务上取得了超越其他模型的结果。

LICHEE 的框架示意图，它利用多粒度输入信息来增强预训练语言模型的表示能力。

推荐：ACL2021 | 多粒度输入信息不降低推理速度，腾讯看点提出高效预训练方法 LICHEE。

论文 5：I2UV-HandNet: Image-to-UV Prediction Network for Accurate and High-fidelity 3D Hand Mesh Modeling

• 作者：Ping Chen、Yujin Chen、Dong Yang 等
• 论文地址：https://arxiv.org/abs/2102.03725

摘要：近日，计算机视觉领域国际顶会 ICCV 2021 收录了一篇题为《I2UV-HandNet: Image-to-UV Prediction Network for Accurate and High-fidelity 3D Hand Mesh Modeling》的论文。论文由爱奇艺深度学习云算法团队联合慕尼黑工业大学的研究者完成，他们提出一套名为 I2UV-HandNet 的高精度手部重建系统，通过「看」单目 RGB 人手图片即能实现高精度 3D 重建。如果将这项技术「适配」到带有摄像功能的眼镜或者头盔中，那么使用者即使不用手柄，也能实现与虚拟世界的高质量对话。

目前，研究者们正在尝试将该技术应用到爱奇艺下一代 VR 设备中，从而减少对手柄的依赖，打造出更轻、更快和更舒适的 VR 设备。同时，手势重建、交互技术目前也同步在爱奇艺其他业务场景和硬件终端进行落地探索，相信不久后会相继和用户见面。

I2UV-HandNet 框架图，由 AffineNet 和 SRNet 组成。

在 FreiHAND 上进行真实场景下多姿态的人手 3D 重建对比，↓表示越低越好，↑表示越高越好。

推荐：工业级人手三维重建刷新两个榜单，第一视角玩游戏更爽了。

论文 6：Solving Mixed Integer Programs Using Neural Networks

• 作者：  Vinod Nair、Sergey Bartunov、Felix Gimeno 等
• 论文地址：https://arxiv.org/pdf/2012.13349.pdf

摘要：混合整数规划（Mixed Integer Program, MIP）是一类 NP 困难问题，旨在最小化受限于线性约束的线性目标，其中部分或所有变量被约束为整数值。MIP 已经在产能规划、资源分配和装箱等一系列问题中得到广泛应用。人们在研究和工程上的大量努力也研发出了 SCIP、CPLEX、Gurobi 和 Xpress 等实用的求解器。这些求解器使用复杂的启发式算法来指导求解 MIP 的搜索过程，并且给定应用上求解器的性能主要依赖于启发式算法适配应用的程度。

在本文中，来自 DeepMind、谷歌的研究者展示了机器学习可以用于从 MIP 实例数据集自动构建有效的启发式算法。在实践中经常会出现这样的用例，即应用程序需要用不同的问题参数解决同一高级语义问题的大量实例。

架构图。

这是首个在大规模现实世界应用数据集和 MIPLIB 上都展示了比 SCIP 有更大提升的学习方法。

推荐：用神经网络解决 NP-hard 的 MIP 问题。

论文 7：Neural Video Portrait Relighting in Real-time via Consistency Modeling

• 作者：Longwen Zhang、Qixuan Zhang、Minye Wu 等
• 论文地址：https://arxiv.org/pdf/2104.00484v1.pdf

摘要：设想你是一个视频创作者，借着绿幕拍了视频，后期换背景时却发现不自然，怎么办？设想你是一个摄影师，好不容易捕捉到一个难能可贵的时机，却发现还需要补光，如何挽救？

上海科技大学的团队提出了一种全新的解决方法—人像视频重照明（Video Portrait Relighting）方法：使用者只需要在模型中输入单张图片（RGB）和一个含有高动态范围（HDR）信息的照明环境，就能实现更换背景、重打光的效果。模型输出的结果足够逼真，在光影变化时前后依旧连贯；模型运作的性能足够强劲，还能够在移动端实时生成结果。这篇论文目前已被 ICCV 2021 接收。

模型更换背景的输出结果。可以看到，在背景光线变化时，前后的光线变化依旧连贯。

模型更换光影后的输出结果。

推荐：光影背景随心换，虚拟视频还能这样拍？上科大本科生论文被 ICCV 2021 接收。

ArXiv Weekly Radiostation

机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation，在 7 Papers 的基础上，精选本周更多重要论文，包括NLP、CV、ML领域各10篇精选，并提供音频形式的论文摘要简介，详情如下：

本周 10 篇 NLP 精选论文是：

1. How to Query Language Models?.  (from Thomas Hofmann)

2. Robust Transfer Learning with Pretrained Language Models through Adapters.  (from Bo Pang)

3. EVA: An Open-Domain Chinese Dialogue System with Large-Scale Generative Pre-Training.  (from Minlie Huang)

4. Are Missing Links Predictable? An Inferential Benchmark for Knowledge Graph Completion.  (from Tat-Seng Chua)

5. EmailSum: Abstractive Email Thread Summarization.  (from Jianfeng Gao)

6. More but Correct: Generating Diversified and Entity-revised Medical Response.  (from Shutao Li)

7. Using Knowledge-Embedded Attention to Augment Pre-trained Language Models for Fine-Grained Emotion Recognition.  (from Varsha Suresh)

8. Dialogue Summarization with Supporting Utterance Flow Modeling and Fact Regularization.  (from Irwin King)

9. MTVR: Multilingual Moment Retrieval in Videos.  (from Tamara L. Berg)

10. ConveRT, an Application to FAQ Answering.  (from Walter Daelemans)

本周 10 篇 CV 精选论文是：

1. Consistent Depth of Moving Objects in Video.  (from William T. Freeman)

2. ADeLA: Automatic Dense Labeling with Attention for Viewpoint Adaptation in Semantic Segmentation.  (from Leonidas Guibas)

3. Threat of Adversarial Attacks on Deep Learning in Computer Vision: Survey II.  (from Mubarak Shah)

4. On the Robustness of Domain Adaption to Adversarial Attacks.  (from Lei Zhang)

5. I3CL:Intra- and Inter-Instance Collaborative Learning for Arbitrary-shaped Scene Text Detection.  (from Dacheng Tao)

6. Adaptive Affinity Loss and Erroneous Pseudo-Label Refinement for Weakly Supervised Semantic Segmentation.  (from Licheng Jiao)

7. Vision Transformer with Progressive Sampling.  (from Philip Torr)

8. Fast Convergence of DETR with Spatially Modulated Co-Attention.  (from Xiaogang Wang)

9. Congested Crowd Instance Localization with Dilated Convolutional Swin Transformer.  (from Xuelong Li)

10. Learning Instance-level Spatial-Temporal Patterns for Person Re-identification.  (from Tieniu Tan)

本周 10 篇 ML 精选论文是：

1. Shift-Robust GNNs: Overcoming the Limitations of Localized Graph Training data.  (from Jiawei Han)

2. Emergent Discrete Communication in SemanticSpaces.  (from Katia Sycara)

3. The AI Economist: Optimal Economic Policy Design via Two-level Deep Reinforcement Learning.  (from Richard Socher)

4. Soft Calibration Objectives for Neural Networks.  (from Jonathon Shlens)

5. Risk Conditioned Neural Motion Planning.  (from Brian Williams)

6. Sparse Continuous Distributions and Fenchel-Young Losses.  (from Mário A. T. Figueiredo, Mathieu Blondel)

7. SINGA-Easy: An Easy-to-Use Framework for MultiModal Analysis.  (from Beng Chin Ooi)

8. ManiSkill: Learning-from-Demonstrations Benchmark for Generalizable Manipulation Skills.  (from Hao Su)

9. Uniform Sampling over Episode Difficulty.  (from Stefano Soatto)

10. GalaxAI: Machine learning toolbox for interpretable analysis of spacecraft telemetry data.  (from Sašo Džeroski)

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道：content@jiqizhixin.com