NLPer速来围观！多位大佬在NeurIPS 2021 上组织了一场顶级Workshop

近年来，深度神经网络在 NLP 和语音处理的各项任务上取得了巨大成功，但在一般设备或内存有限的云服务上训练和部署这些网络，会带来巨大的计算成本以及其他挑战。比如超过 1700 亿参数的 GPT-3，训练了超过 500 GB 的数据，这个过程需要 10 多个 Tesla V-100 GPU。不过，通过增加参数量和合并更多数据来改进 NLP 和语音模型，依旧被认为是这一领域中非常普遍的做法。

在今年 12 月的 NeurIPS 大会上，一场以「高效的自然语言和语音处理」为主题的 Workshop 也将同时召开。这场 Workshop 由来自华为诺亚方舟实验室、阿尔伯塔大学、滑铁卢大学等机构的多名学者联合举办，旨在对机器学习和深度学习社区中自然语言与语音处理领域的基础议题进行探讨，以提高模型、训练和推理的效率。

Workshop 将提供一个互动平台，通过受邀主题演讲、小组讨论、投稿和评论、Poster 和 Oral 报告以及导师计划等形式，聚集学术界和工业界的专家和人才；同时提供一个相互讨论和学习、交流想法、建立联系以及就潜在解决方案和未来合作进行头脑风暴的机会，主题涵盖通用机器学习、深度学习、优化、理论和 NLP & 语音应用。

• Workshop 主页：https://neurips2021-nlp.github.io/

本次 Workshop 目前已经确认出席的嘉宾包括：

Workshop 组织者包括：

Call for Papers

鼓励 NeurIPS 社区提交自己关于 NLP 和语音处理的数据、模型、训练和推理效率的解决方案、想法和正在进行的工作。本次 Workshop 的范围包括但不限于以下主题：

高效的预训练和微调

预训练是一个成本很高的过程。即使对模型的配置稍作修改，也需要重新进行预训练：

• 快速预训练技术，避免从头开始预训练
• 预训练 / 微调模型的多域预训练 / 微调和快速域适应
• 多模态预训练（例如，文本 - 语音）模型
• 避免对预训练模型进行特定于任务的微调
• 用于预训练模型的新型高效架构

模型压缩

量化、剪枝、层分解和知识蒸馏（KD）等神经模型压缩技术旨在减少模型的参数数量，提高其内存需求或运行效率：

• 不同压缩技术对原始模型学习的归纳偏差的影响
• 用于更高效 NLP 和语音模型的组合压缩技术
• NLP 和语音的高效 KD、高效的中间层蒸馏和 teacher-free 蒸馏
• 改进大型分类问题的 KD（例如，具有大量输出类别的文本生成和机器翻译）
• 解决与寻找教师的最佳 checkpoint 相关的容量差距问题和搜索问题
• KD 理论（例如，KD 是如何 work 的？）

高效的训练

如何提高 NLP 和语音模型的训练速度：

• 改进优化器以加快训练速度
• NLP 和语音中不同任务的加速训练
• NLP 和语音任务的分布式训练、联邦学习和持续学习

数据效率

预训练模型依赖于大量未标记的数据，这使得训练非常样本效率低下：

• 样本高效训练、少数据训练、少样本和零样本学习
• 样本高效的数据增强，确定应该增强哪些训练样本
• 低资源 NLP 和语音，考虑可用数据有限的训练任务

边缘智能

在边缘设备上运行经过训练的模型，需要一个转换过程以将网络与硬件规格相匹配：

• 用于嵌入式系统上的 NLP 和语音的 TinyML 
• 高效转换与硬件感知训练
• 设备训练

参与方式

投稿说明  

所有提交的论文必须匿名以进行双盲审查。主办方希望每篇论文至少由三名审稿人审阅。论文内容（不包括参考文献和补充材料）不应超过 6 页，严格遵循 NeurIPS 模板样式（https://neurips.cc/Conferences/2021/PaperInformation/StyleFiles）。

作者可以单独提交最多 100 MB 的补充材料，同时强烈鼓励作者提交代码以实现可重复性目的。尽管首选项是初次提交，但提交的论文也可以是已经发表或 arXiv 上的论文。请确保为论文的所有作者提供完整的利益冲突清单。为了鼓励更高质量的提交，活动的赞助商向合格的优秀原创 Oral 和 Poster 提供最佳论文奖（根据审稿人的提名），被接收的论文将在 Workshop 网站上托管。

注意：提交入口将于 8 月 15 日 AOE 开放。

重要时间节点

• 提交截止日期：2021 年 9 月 18 日
• 录取通知：2021 年 10 月 23 日
• Camera-Ready 提交：2021 年 11 月 1 日
• Workshop 日期：2021 年 12 月 13 日

欢迎大家关注、参与此 workshop。