ACL 2023奖项公布：3篇最佳论文、39篇杰出论文，多家国内机构上榜

AiCharm

发布于 2023-07-26 20:50:46

4290

发布于 2023-07-26 20:50:46

文章被收录于专栏：AiCharmAiCharm

CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理

本文章仅用于学术分享，如有侵权请联系删除

作者丨机器之心编辑部来源丨机器之心编辑丨AiCharm

点击下方卡片，关注「AiCharm」公众号

ACL 是计算语言学和自然语言处理领域的顶级国际会议，由国际计算语言学协会组织，每年举办一次。一直以来，ACL 在 NLP 领域的学术影响力都位列第一，它也是 CCF-A 类推荐会议。今年的 ACL 大会已是第 61 届，将于 2023 年 7 月 9 日至 14 日在加拿大多伦多举行。

今年共评选出 3 篇最佳论文，4 个特别奖项论文：资源奖（Resource Award）、社会影响奖（Social Impact Award）、复现奖（Reproduction Award）、主题论文奖以及 39 篇杰出论文。

最佳论文

论文 1：Do Androids Laugh at Electric Sheep? Humor “Understanding” Benchmarks from The New Yorker Caption Contest

论文地址：https://arxiv.org/abs/2209.06293
机构：艾伦人工智能研究院、犹他大学等

论文简介：大型神经网络现在可以生成笑话，但它们真的「理解」幽默吗？该研究用源自 New Yorker Cartoon Caption Contest 的三项任务来测试人工智能模型，包括将笑话与卡通相匹配、选出优质配文（caption）以及解释优质配文为何有趣。完成这些任务的关键是「理解」图像和配文之间复杂且出人意料的关系，幽默经常涉及对人类经验和文化的间接、有趣的暗示。该论文研究了多模态模型和纯语言模型：前者直接接受卡通图像的挑战；后者则给出视觉场景的多方面描述以模拟人类水平的视觉理解。

该研究发现两类模型都难以完成所有三项任务。例如，表现最好的多模态模型在匹配任务上的准确度落后于人类表现 30 个百分点。即使提供真实的视觉场景描述，在超过 2/3 的情况下，人类编写的解释也比模型编写的最佳解释（fewshot GPT-4 ）更受欢迎。

论文 2：What the DAAM: Interpreting Stable Diffusion Using Cross Attention

论文地址：https://arxiv.org/abs/2210.04885
机构：Comcast Applied AI、伦敦大学学院、滑铁卢大学

论文简介：大规模扩散神经网络是文本到图像生成领域一个重要的里程碑，但这类方法缺乏可解释性。该论文对近期开源的 Stable Diffusion 模型进行了文本 - 图像归因分析（attribution analysis）。为了生成像素级归因图，该研究在去噪子网络中 upscale 并聚合（aggregate）交叉注意力 word–pixel 分数，所提方法被命名为 DAAM。

该研究通过测试 DAAM 对名词的语义分割能力来评估其正确性。然后该研究应用 DAAM 来研究语法在像素空间中的作用。最后，该研究使用 DAAM 研究了几种语义现象。该研究是首个从视觉语言学的角度解释大型扩散模型的研究，这将引领一个新的研究方向。

论文 3：From Pretraining Data to Language Models to Downstream Tasks: Tracking the Trails of Political Biases Leading to Unfair NLP Models

论文地址：https://arxiv.org/pdf/2305.08283.pdf
机构：华盛顿大学、CMU、西安交通大学

杰出论文

本届会议还评出了 39 篇杰出论文（Outstanding Papers），官方放出了 38 篇杰出论文列表。

论文 1：CAME: Confidence-guided Adaptive Memory Efficient Optimization
机构：新加坡国立大学、华为诺亚方舟实验室
论文作者：罗旸，Xiaozhe REN, 郑奘巍，ZHUO JIANG, Xin Jiang 以及尤洋
论文地址：https://arxiv.org/abs/2307.02047

研究亮点及意义：语言模型的训练中，优化器往往占据了大量的内存使用。随着大语言模型不断增加的参数量，训练时的内存消耗问题更为严峻。我们的工作提出了 CAME 优化器，在减少内存消耗的同时，拥有与 Adam 相同的性能。CAME 优化器基于 Adafactor 优化器改进而来，后者在大规模语言模型的预训练任务中往往带来训练性能的损失。Adafactor 通过非负矩阵分解降低内存的消耗，但这一操作也带来了更新不稳定的问题。CAME 优化器基于模型更新的置信度进行更新量修正，同时对引入的置信度矩阵进行非负矩阵分解操作，有效降低了额外的内存开销。CAME 优化器在多个常用的大规模语言模型的预训练上取得了相同甚至超越 Adam 优化器的训练表现，而内存占用与 Adafactor 相差无几，并对大 batch 预训练场景更加鲁棒。通过 CAME 优化器训练大语言模型，能够大幅度降低大模型训练的成本。

论文 2：Backpack Language Models
机构：斯坦福大学
论文作者：John Hewitt, John Thickstun, Christopher Manning 以及 Percy Liang
论文地址：https://arxiv.org/pdf/2305.16765.pdf
论文 3：Causes and Cures for Interference in Multilingual Translation
机构：特拉维夫大学、 Meta AI
论文作者：Uri Shaham, Maha Elbayad, Vedanuj Goswami, Omer Levy 以及 Shruti Bhosale
论文地址：https://arxiv.org/pdf/2212.07530.pdf
论文 4：Cognitive Reframing of Negative Thoughts through Human-Language Model Interaction
机构：华盛顿大学、斯坦福大学等
论文作者：Ashish Sharma, Kevin Rushton, Inna Lin, David Wadden, Khendra Lucas, Adam Miner, Theresa Nguyen 以及 Tim Althoff
论文地址：https://arxiv.org/pdf/2305.02466.pdf
论文 5：Compositional Generalization without Trees using Multiset Tagging and Latent Permutations
机构：爱丁堡大学、萨尔大学、阿姆斯特丹大学
论文作者：Matthias Lindemann, Alexander Koller 以及 Ivan Titov
论文地址：https://arxiv.org/pdf/2305.16954.pdf
论文 6：Considerations for meaningful sign language machine translation based on glosses
机构：苏黎世大学、苏黎世联邦理工学院、巴伊兰大学
论文作者：Mathias Müller, Zifan Jiang, Amit Moryossef, Annette Rios 以及 Sarah Ebling
论文地址：https://arxiv.org/pdf/2211.15464.pdf
论文 7：Dense-ATOMIC: Towards Densely-connected ATOMIC with High Knowledge Coverage and Massive Multi-hop Paths
机构：南京理工大学
论文作者：Xiangqing Shen, Siwei Wu 以及夏睿
论文地址：https://arxiv.org/pdf/2210.07621.pdf
论文 8：Dissecting Transformer Length Extrapolation via the Lens of Receptive Field Analysis
机构：CMU、普林斯顿大学
论文作者：Ta-Chung Chi, Ting-Han Fan, alexander rudnicky 以及 Peter Ramadge
论文地址：https://arxiv.org/pdf/2212.10356.pdf
论文 9：Distilling Script Knowledge from Large Language Models for Constrained Language Planning
机构：复旦大学等
论文作者：Siyu Yuan, Jiangjie Chen, Ziquan Fu, Xuyang Ge, Soham Shah, Charles Jankowski, Yanghua Xiao 以及 Deqing Yang
论文地址：https://arxiv.org/pdf/2305.05252.pdf
论文 10：Do PLMs Know and Understand Ontological Knowledge?
机构：上海科技大学、上海智能视觉影像及应用工程技术研究中心、达摩院
论文作者 Weiqi Wu, Chengyue Jiang, Yong Jiang, Pengjun Xie 以及 Kewei Tu
论文地址：https://faculty.sist.shanghaitech.edu.cn/faculty/tukw/acl23probe.pdf
论文 11：Don’t Generate, Discriminate: A Proposal for Grounding Language Models to Real-World Environments
机构：俄亥俄州立大学
论文作者：Yu Gu, Xiang Deng 以及 Yu Su
论文地址：https://arxiv.org/pdf/2212.09736.pdf
论文 12：Extrinsic Evaluation of Machine Translation Metrics
机构：爱丁堡大学
论文作者：Nikita Moghe, Tom Sherborne, Mark Steedman 以及 Alexandra Birch
论文地址：https://aclanthology.org/2023.acl-long.730.pdf
论文 13：Faithful Low-Resource Data-to-Text Generation through Cycle Training
机构：TAMU、亚马逊
论文作者：Zhuoer Wang, Marcus Collins, Nikhita Vedula, Simone Filice, Shervin Malmasi 以及 Oleg Rokhlenko
论文地址：https://arxiv.org/pdf/2305.14793.pdf
论文 14：Generalizing Backpropagation for Gradient-Based Interpretability
机构：苏黎世联邦理工学院、MIT
论文作者：Kevin Du, Lucas Torroba Hennigen, Niklas Stoehr, Alex Warstadt 以及 Ryan Cotterell
论文地址：https://arxiv.org/pdf/2307.03056.pdf
论文 15：Hexatagging: Projective Dependency Parsing as Tagging
机构：苏黎世联邦理工学院
论文作者：Afra Amini, Tianyu Liu 以及 Ryan Cotterell
论文地址：https://arxiv.org/abs/2306.05477
论文 16：Hybrid Transducer and Attention based Encoder-Decoder Modeling for Speech-to-Text Tasks
机构：Meta AI，卡内基梅隆大学
论文作者：Yun Tang , Anna Y. Sun , Hirofumi Inaguma , Xinyue Chen , Ning Dong , Xutai Ma , Paden D. Tomasello 以及 Juan Pino
论文地址：https://arxiv.org/abs/2305.03101
论文 17：Improving Pretraining Techniques for Code-Switched NLP
机构：印度理工学院孟买分校， Deepmind
论文作者：Richeek Das, Sahasra Ranjan , Shreya Pathak 以及 Preethi Jyothi
论文地址：https://aclanthology.org/2023.acl-long.66/
论文 18：Knowledge Transfer in Incremental Learning for Multilingual Neural Machine Translation
机构：清华大学，北京信息科学与技术国家研究中心，上海人工智能实验室，中国科学技术大学
论文作者：Kaiyu Huang, Peng Li , Jin Ma, Ting Yao, Yang Liu
论文地址：https://aclanthology.org/2023.acl-long.852/
论文 19：Language model acceptability judgements are not always robust to context
机构： Meta AI ，麻省理工学院，普渡大学，约翰霍普金斯大学
论文作者：Koustuv Sinha ，Jon Gauthier ， Aaron Mueller， Kanishka Misra ，Keren Fuentes ，Roger Levy 以及 Adina Williams
论文地址：https://arxiv.org/abs/2212.08979
论文 20：Linear Classifier: An Often-Forgotten Baseline for Text Classification
机构：台湾大学、华硕、穆罕默德・本・扎耶德人工智能大学
论文作者：Yu-Chen Lin, Si-An Chen, Jie-Jyun Liu 以及 Chih-Jen Lin
论文地址：https://arxiv.org/pdf/2306.07111.pdf
论文 21：Minding Language Models’ (Lack of) Theory of Mind: A Plug-and-Play Multi-Character Belief Tracker
机构：华盛顿大学、CMU、艾伦人工智能研究所
论文作者：Melanie Sclar, Sachin Kumar, Peter West, Alane Suhr, Yejin Choi 以及 Yulia Tsvetkov
论文地址：https://arxiv.org/pdf/2306.00924.pdf
论文 22：MultiInstruct: Improving Multi-Modal Zero-Shot Learning via Instruction Tuning
机构：弗吉尼亚理工大学
论文作者：Zhiyang Xu, Ying Shen 以及 Lifu Huang
论文地址：https://arxiv.org/pdf/2212.10773.pdf
论文 23：Multilingual LLMs are Better Cross-lingual In-context Learners with Alignment
机构：DTU、德里印度理工学院
论文作者：Eshaan Tanwar, Subhabrata Dutta, Manish Borthakur and Tanmoy Chakraborty
论文地址：https://arxiv.org/pdf/2305.05940.pdf
论文 24：Neural Machine Translation Methods for Translating Text to Sign Language Glosses
机构：柏林工业大学、德国人工智能研究中心
论文作者：Dele Zhu, Vera Czehmann 以及 Eleftherios Avramidis
论文地址：https://aclanthology.org/2023.acl-long.700.pdf
论文 25：NLPositionality: Characterizing Design Biases of Datasets and Models
机构：华盛顿大学、CMU、艾伦人工智能研究所
论文作者：Sebastin Santy, Jenny Liang, Ronan Le Bras, Katharina Reinecke 以及 Maarten Sap
论文地址：https://arxiv.org/pdf/2306.01943.pdf
论文 26：PeaCoK: Persona Commonsense Knowledge for Consistent and Engaging Narratives
机构：洛桑联邦理工学院、索尼
论文作者：Silin Gao, Beatriz Borges, Soyoung Oh, Deniz Bayazit, Saya Kanno, Hiromi Wakaki, Yuki Mitsufuji 以及 Antoine Bosselut
论文地址：https://arxiv.org/pdf/2305.02364.pdf
论文 27：QUEST: A Retrieval Dataset of Entity-Seeking Queries with Implicit Set Operations
机构：宾夕法尼亚大学、 Google DeepMind
论文作者：Chaitanya Malaviya, Peter Shaw, Ming-Wei Chang, Kenton Lee 以及 Kristina Toutanova
论文地址：https://arxiv.org/pdf/2305.11694.pdf
论文 28：Question-Answering in a Low-resourced Language: Benchmark Dataset and Models for Tigrinya
机构：韩国科学技术院
论文作者：Fitsum Gaim, Wonsuk Yang, Hancheol Park 以及 Jong Park
论文地址：https://aclanthology.org/2023.acl-long.661.pdf
论文 29：Scaling in Cognitive Modelling: a Multilingual Approach to Human Reading Times
机构：米兰比可卡大学、
论文作者：Andrea Gregor de Varda 以及 Marco Marelli
论文地址：https://aclanthology.org/2023.acl-short.14.pdf
论文 30：SCOTT: Self-Consistent Chain-of-Thought Distillation
机构：南加州大学、亚马逊
论文作者：Peifeng Wang, Zhengyang Wang, Zheng Li, Yifan Gao, Bing Yin 以及 Xiang Ren
论文地址：https://arxiv.org/pdf/2305.01879.pdf
论文 31：The Mechanical Bard: An Interpretable Machine Learning Approach to Shakespearean Sonnet Generation
机构：杜克大学
论文作者：Edwin Agnew, Michelle Qiu, Lily Zhu, Sam Wiseman 以及 Cynthia Rudin
论文地址：https://aclanthology.org/2023.acl-short.140.pdf
论文 32：The Tail Wagging the Dog: Dataset Construction Biases of Social Bias Benchmarks
机构：加州大学洛杉矶分校、谷歌研究院等
论文作者：Nikil Selvam, Sunipa Dev, Daniel Khashabi, Tushar Khot 以及 Kai-Wei Chang
论文地址：https://arxiv.org/pdf/2210.10040.pdf
论文 33：Towards Zero-Shot Multilingual Transfer for Code-Switched Responses
机构：佐治亚理工学院、 Meta
论文作者：Ting-Wei Wu, Changsheng Zhao, Ernie Chang, Yangyang Shi, Pierce Chuang, Vikas Chandra 以及 Biing Juang
论文地址：https://aclanthology.org/2023.acl-long.417.pdf
论文 34：Transfer and Active Learning for Dissonance Detection: Addressing the Rare-Class Challenge
机构：石溪大学
论文作者 Vasudha Varadarajan, Swanie Juhng, Syeda Mahwish, Xiaoran Liu, Jonah Luby, Christian Luhmann 以及 H. Andrew Schwartz
论文地址：https://arxiv.org/pdf/2305.02459.pdf
论文 35：VisText: A Benchmark for Semantically Rich Chart Captioning
机构：MIT
论文作者：Benny Tang, Angie Boggust 以及 Arvind Satyanarayan
论文地址：https://vis.mit.edu/pubs/vistext.pdf
论文 36：What’s the Meaning of Superhuman Performance in Today’s NLU?
机构：Babelscape、罗马大学等
论文作者：Simone Tedeschi, Johan Bos, Thierry Declerck, Jan Hajič, Daniel Hershcovich, Eduard Hovy, Alexander Koller, Simon Krek, Steven Schockaert, Rico Sennrich, Ekaterina Shutova 以及 Roberto Navigli
论文地址：https://arxiv.org/pdf/2305.08414.pdf
论文 37：WikiBio: a Semantic Resource for the Intersectional Analysis of Biographical Events
机构：都灵大学、格罗宁根大学
论文作者：Marco Antonio Stranisci, Rossana Damiano, Enrico Mensa, Viviana Patti, Daniele Radicioni 以及 Tommaso Caselli
论文地址：https://arxiv.org/pdf/2306.09505.pdf
论文 38：World-to-Words: Grounded Open Vocabulary Acquisition through Fast Mapping in Vision-Language Models
机构：密歇根大学
论文作者：Ziqiao Ma, Jiayi Pan 以及 Joyce Chai
论文地址：https://arxiv.org/pdf/2306.08685.pdf

其他奖项

大会还公布了一些特别奖项，包括复现奖（Reproduction Award)、资源奖（Resource Award）、社会影响力奖（Social Impact Award）、主题论文奖（Theme Paper Award）。

复现奖：Do CoNLL-2003 Named Entity Taggers Still Work Well in 2023?

机构：佐治亚理工学院
论文作者：Shuheng Liu ，Alan Ritter
论文地址：https://aclanthology.org/2023.acl-long.459/

资源奖：When Does Translation Require Context? A Data-driven, Multilingual Exploration

机构：卡内基梅隆大学、里斯本高等理工学院等
论文作者：Patrick Fernandes, Kayo Yin, Emmy Liu, André Martins ，Graham Neubig
论文地址：https://arxiv.org/abs/2109.07446

社会影响力奖：Marked Personas: Using Natural Language Prompts to Measure Stereotypes in Language Models

机构：斯坦福大学
论文作者：Myra Cheng, Esin Durmus ，Dan Jurafsky
论文地址：https://arxiv.org/abs/2305.18189

主题论文奖：Weaker Than You Think: A Critical Look at Weakly Supervised Learning

机构：萨尔大学、亚马逊、维也纳大学
论文作者：Dawei Zhu, Xiaoyu Shen, Marius Mosbach, Andreas Stephan ， Dietrich Klakow
论文地址：https://arxiv.org/abs/2305.17442

领域主席奖

语言多样性

论文：Small Data, Big Impact: Leveraging Minimal Data for Effective Machine Translation
论文作者：Jean Maillard, Cynthia Gao, Elahe Kalbassi, Kaushik Ram Sadagopan, Vedanuj Goswami, Philipp Koehn, Angela Fan and Francisco Guzman
论文地址：https://aclanthology.org/2023.acl-long.154/

情感分析、文体分析和论据挖掘

论文：StoryTrans: Non-Parallel Story Author-Style Transfer with Discourse Representations and Content Enhancing
论文作者：Xuekai Zhu, Jian Guan, Minlie Huang 以及 Juan Liu
论文地址：https://arxiv.org/pdf/2208.13423.pdf

语言以及语言学

论文：Resolving Indirect Referring Expressions for Entity Selection
论文作者：Mohammad Javad Hosseini, Filip Radlinski, Silvia Pareti 以及 Annie Louis
论文地址：https://arxiv.org/pdf/2212.10933.pdf

语义学：句子级语义学、文本推理和其他领域

论文：ParaAMR: A Large-Scale Syntactically Diverse Paraphrase Dataset by AMR Back-Translation
论文作者：Kuan-Hao Huang, Varun Iyer, I-Hung Hsu, Anoop Kumar, Kai-Wei Chang 以及 Aram Galstyan
论文地址：https://arxiv.org/pdf/2305.16585.pdf

问答

论文：DisentQA: Disentangling Parametric and Contextual Knowledge with Counterfactual Question Answering
论文作者：Ella Neeman, Roee Aharoni, Or Honovich, Leshem Choshen, Idan Szpektor 以及 Omri Abend
论文地址：https://arxiv.org/pdf/2211.05655.pdf

语义学: Lexical

论文：LexSym: Compositionality as Lexical Symmetry
论文作者：Ekin Akyurek 以及 Jacob Andreas
论文地址：https://arxiv.org/pdf/2201.12926.pdf

NLP 应用

论文：Are You Copying My Model? Protecting the Copyright of Large Language Models for EaaS via Backdoor Watermark
论文作者：Wenjun Peng, Jingwei Yi, Fangzhao Wu, Shangxi Wu, Bin Bin Zhu, Lingjuan Lyu, Binxing Jiao, Tong Xu, Guangzhong Sun 以及 Xing Xie
论文链接：https://arxiv.org/pdf/2305.10036.pdf

语言与多模态模型

论文：Hearing Lips in Noise: Universal Viseme-Phoneme Mapping and Transfer for Robust Audio-Visual Speech Recognition
论文作者：Yuchen Hu, Ruizhe Li, Chen Chen, Chengwei Qin, Qiu-Shi Zhu 以及 Eng Siong Chng
论文地址：https://aclanthology.org/2023.acl-long.848/

NLP 模型的可解释性和分析

论文：Entity Tracking in Language Models
论文作者：Najoung Kim ， Sebastian Schuster
论文地址：https://arxiv.org/abs/2305.02363

语言学理论、认知建模和心理语言学

论文：Exploring How Generative Adversarial Networks Learn Phonological Representations
论文作者：Jingyi Chen ，Micha Elsner
论文地址 https://arxiv.org/abs/2305.12501

资源与评估

论文：Tell2Design: A Dataset for Language-Guided Floor Plan Generation
论文作者：Sicong Leng, Yang Zhou, Mohammed Haroon Dupty, Wee Sun Lee, Sam Joyce 以及 Wei Lu
论文地址：https://aclanthology.org/2023.acl-long.820/

多语言和跨语言 NLP

论文：Glot500: Scaling Multilingual Corpora and Language Models to 500 Languages
论文作者：Ayyoob ImaniGooghari, Peiqin Lin, Amir Hossein Kargaran, Silvia Severini, Masoud Jalili Sabet, Nora Kassner, Chunlan Ma, Helmut Schmid, André Martins, François Yvon 以及 Hinrich Schütze
论文地址：https://arxiv.org/abs/2305.12182

演示赛道奖

最佳 Demo 奖

论文：VisKoP: Visual Knowledge oriented Programming for Interactive Knowledge Base Question Answering
作者：Zijun Yao, YUANYONG CHEN, Xin Lv, Shulin Cao, Amy Xin, Jifan Yu, Hailong Jin, jianjun xu, Peng Zhang, Lei Hou and Juanzi Li
链接：https://aclanthology.org/2023.acl-demo.17/

杰出 Demo 奖