ACL 2023奖项公布：3篇最佳论文、39篇杰出论文，多家国内机构上榜

来源：机器之心

ACL 是计算语言学和自然语言处理领域的顶级国际会议，由国际计算语言学协会组织，每年举办一次。一直以来，ACL 在 NLP 领域的学术影响力都位列第一，它也是 CCF-A 类推荐会议。今年的 ACL 大会已是第 61 届，将于 2023 年 7 月 9 日至 14 日在加拿大多伦多举行。

今年共评选出 3 篇最佳论文，4 个特别奖项论文：资源奖（Resource Award）、社会影响奖（Social Impact Award）、复现奖（Reproduction Award）、主题论文奖以及 39 篇杰出论文。

最佳论文

论文 1：Do Androids Laugh at Electric Sheep? Humor “Understanding” Benchmarks from The New Yorker Caption Contest

• 论文地址：https://arxiv.org/abs/2209.06293

• 机构：艾伦人工智能研究院、犹他大学等

论文简介：大型神经网络现在可以生成笑话，但它们真的「理解」幽默吗？该研究用源自 New Yorker Cartoon Caption Contest 的三项任务来测试人工智能模型，包括将笑话与卡通相匹配、选出优质配文（caption）以及解释优质配文为何有趣。完成这些任务的关键是「理解」图像和配文之间复杂且出人意料的关系，幽默经常涉及对人类经验和文化的间接、有趣的暗示。该论文研究了多模态模型和纯语言模型：前者直接接受卡通图像的挑战；后者则给出视觉场景的多方面描述以模拟人类水平的视觉理解。

该研究发现两类模型都难以完成所有三项任务。例如，表现最好的多模态模型在匹配任务上的准确度落后于人类表现 30 个百分点。即使提供真实的视觉场景描述，在超过 2/3 的情况下，人类编写的解释也比模型编写的最佳解释（fewshot GPT-4 ）更受欢迎。

论文 2：What the DAAM: Interpreting Stable Diffusion Using Cross Attention

• 论文地址：https://arxiv.org/abs/2210.04885

• 机构：Comcast Applied AI、伦敦大学学院、滑铁卢大学

论文简介：大规模扩散神经网络是文本到图像生成领域一个重要的里程碑，但这类方法缺乏可解释性。该论文对近期开源的 Stable Diffusion 模型进行了文本 - 图像归因分析（attribution analysis）。为了生成像素级归因图，该研究在去噪子网络中 upscale 并聚合（aggregate）交叉注意力 word–pixel 分数，所提方法被命名为 DAAM。

该研究通过测试 DAAM 对名词的语义分割能力来评估其正确性。然后该研究应用 DAAM 来研究语法在像素空间中的作用。最后，该研究使用 DAAM 研究了几种语义现象。该研究是首个从视觉语言学的角度解释大型扩散模型的研究，这将引领一个新的研究方向。

论文 3：From Pretraining Data to Language Models to Downstream Tasks: Tracking the Trails of Political Biases Leading to Unfair NLP Models

• 论文地址：https://arxiv.org/pdf/2305.08283.pdf

• 机构：华盛顿大学、CMU、西安交通大学

杰出论文

本届会议还评出了 39 篇杰出论文（Outstanding Papers），官方放出了 38 篇杰出论文列表。

• 论文 1：CAME: Confidence-guided Adaptive Memory Efficient Optimization

• 机构：新加坡国立大学、华为诺亚方舟实验室

• 论文作者：罗旸，Xiaozhe REN, 郑奘巍，ZHUO JIANG, Xin Jiang 以及尤洋

• 论文地址：https://arxiv.org/abs/2307.02047

研究亮点及意义：语言模型的训练中，优化器往往占据了大量的内存使用。随着大语言模型不断增加的参数量，训练时的内存消耗问题更为严峻。我们的工作提出了 CAME 优化器，在减少内存消耗的同时，拥有与 Adam 相同的性能。CAME 优化器基于 Adafactor 优化器改进而来，后者在大规模语言模型的预训练任务中往往带来训练性能的损失。Adafactor 通过非负矩阵分解降低内存的消耗，但这一操作也带来了更新不稳定的问题。CAME 优化器基于模型更新的置信度进行更新量修正，同时对引入的置信度矩阵进行非负矩阵分解操作，有效降低了额外的内存开销。CAME 优化器在多个常用的大规模语言模型的预训练上取得了相同甚至超越 Adam 优化器的训练表现，而内存占用与 Adafactor 相差无几，并对大 batch 预训练场景更加鲁棒。通过 CAME 优化器训练大语言模型，能够大幅度降低大模型训练的成本。

• 论文 2：Backpack Language Models

• 机构：斯坦福大学

• 论文作者：John Hewitt, John Thickstun, Christopher Manning 以及 Percy Liang

• 论文地址：https://arxiv.org/pdf/2305.16765.pdf

• 论文 3：Causes and Cures for Interference in Multilingual Translation

• 机构：特拉维夫大学、 Meta AI

• 论文作者：Uri Shaham, Maha Elbayad, Vedanuj Goswami, Omer Levy 以及 Shruti Bhosale

• 论文地址：https://arxiv.org/pdf/2212.07530.pdf

• 论文 4：Cognitive Reframing of Negative Thoughts through Human-Language Model Interaction

• 机构：华盛顿大学、斯坦福大学等

• 论文作者：Ashish Sharma, Kevin Rushton, Inna Lin, David Wadden, Khendra Lucas, Adam Miner, Theresa Nguyen 以及 Tim Althoff

• 论文地址：https://arxiv.org/pdf/2305.02466.pdf

• 论文 5：Compositional Generalization without Trees using Multiset Tagging and Latent Permutations

• 机构：爱丁堡大学、萨尔大学、阿姆斯特丹大学

• 论文作者：Matthias Lindemann, Alexander Koller 以及 Ivan Titov

• 论文地址：https://arxiv.org/pdf/2305.16954.pdf

• 论文 6：Considerations for meaningful sign language machine translation based on glosses

• 机构：苏黎世大学、苏黎世联邦理工学院、巴伊兰大学

• 论文作者：Mathias Müller, Zifan Jiang, Amit Moryossef, Annette Rios 以及 Sarah Ebling

• 论文地址：https://arxiv.org/pdf/2211.15464.pdf

• 论文 7：Dense-ATOMIC: Towards Densely-connected ATOMIC with High Knowledge Coverage and Massive Multi-hop Paths

• 机构：南京理工大学

• 论文作者：Xiangqing Shen, Siwei Wu 以及夏睿

• 论文地址：https://arxiv.org/pdf/2210.07621.pdf

• 论文 8：Dissecting Transformer Length Extrapolation via the Lens of Receptive Field Analysis

• 机构：CMU、普林斯顿大学

• 论文作者：Ta-Chung Chi, Ting-Han Fan, alexander rudnicky 以及 Peter Ramadge

• 论文地址：https://arxiv.org/pdf/2212.10356.pdf

• 论文 9：Distilling Script Knowledge from Large Language Models for Constrained Language Planning

• 机构：复旦大学等

• 论文作者：Siyu Yuan, Jiangjie Chen, Ziquan Fu, Xuyang Ge, Soham Shah, Charles Jankowski, Yanghua Xiao 以及 Deqing Yang

• 论文地址：https://arxiv.org/pdf/2305.05252.pdf

• 论文 10：Do PLMs Know and Understand Ontological Knowledge?

• 机构：上海科技大学、上海智能视觉影像及应用工程技术研究中心、达摩院

• 论文作者 Weiqi Wu, Chengyue Jiang, Yong Jiang, Pengjun Xie 以及 Kewei Tu

• 论文地址：https://faculty.sist.shanghaitech.edu.cn/faculty/tukw/acl23probe.pdf

• 论文 11：Don’t Generate, Discriminate: A Proposal for Grounding Language Models to Real-World Environments

• 机构：俄亥俄州立大学

• 论文作者：Yu Gu, Xiang Deng 以及 Yu Su

• 论文地址：https://arxiv.org/pdf/2212.09736.pdf

• 论文 12：Extrinsic Evaluation of Machine Translation Metrics

• 机构：爱丁堡大学

• 论文作者：Nikita Moghe, Tom Sherborne, Mark Steedman 以及 Alexandra Birch

• 论文地址：https://aclanthology.org/2023.acl-long.730.pdf

• 论文 13：Faithful Low-Resource Data-to-Text Generation through Cycle Training

• 机构：TAMU、亚马逊

• 论文作者：Zhuoer Wang, Marcus Collins, Nikhita Vedula, Simone Filice, Shervin Malmasi 以及 Oleg Rokhlenko

• 论文地址：https://arxiv.org/pdf/2305.14793.pdf

• 论文 14：Generalizing Backpropagation for Gradient-Based Interpretability

• 机构：苏黎世联邦理工学院、MIT

• 论文作者：Kevin Du, Lucas Torroba Hennigen, Niklas Stoehr, Alex Warstadt 以及 Ryan Cotterell

• 论文地址：https://arxiv.org/pdf/2307.03056.pdf

• 论文 15：Hexatagging: Projective Dependency Parsing as Tagging

• 机构：苏黎世联邦理工学院

• 论文作者：Afra Amini, Tianyu Liu 以及 Ryan Cotterell

• 论文地址：https://arxiv.org/abs/2306.05477

• 论文 16：Hybrid Transducer and Attention based Encoder-Decoder Modeling for Speech-to-Text Tasks

• 机构：Meta AI，卡内基梅隆大学

• 论文作者：Yun Tang , Anna Y. Sun , Hirofumi Inaguma , Xinyue Chen , Ning Dong , Xutai Ma , Paden D. Tomasello 以及 Juan Pino

• 论文地址：https://arxiv.org/abs/2305.03101

• 论文 17：Improving Pretraining Techniques for Code-Switched NLP

• 机构：印度理工学院孟买分校， Deepmind

• 论文作者：Richeek Das, Sahasra Ranjan , Shreya Pathak 以及 Preethi Jyothi

• 论文地址：https://aclanthology.org/2023.acl-long.66/

• 论文 18：Knowledge Transfer in Incremental Learning for Multilingual Neural Machine Translation

• 机构：清华大学，北京信息科学与技术国家研究中心，上海人工智能实验室，中国科学技术大学

• 论文作者：Kaiyu Huang, Peng Li , Jin Ma, Ting Yao, Yang Liu

• 论文地址：https://aclanthology.org/2023.acl-long.852/

• 论文 19：Language model acceptability judgements are not always robust to context

• 机构：  Meta AI ，麻省理工学院，普渡大学，约翰霍普金斯大学

• 论文作者：Koustuv Sinha ，Jon Gauthier ， Aaron Mueller， Kanishka Misra ，Keren Fuentes ，Roger Levy 以及 Adina Williams

• 论文地址：https://arxiv.org/abs/2212.08979

• 论文 20：Linear Classifier: An Often-Forgotten Baseline for Text Classification

• 机构：台湾大学、华硕、穆罕默德・本・扎耶德人工智能大学

• 论文作者：Yu-Chen Lin, Si-An Chen, Jie-Jyun Liu 以及 Chih-Jen Lin

• 论文地址：https://arxiv.org/pdf/2306.07111.pdf

• 论文 21：Minding Language Models’ (Lack of) Theory of Mind: A Plug-and-Play Multi-Character Belief Tracker

• 机构：华盛顿大学、CMU、艾伦人工智能研究所

• 论文作者：Melanie Sclar, Sachin Kumar, Peter West, Alane Suhr, Yejin Choi 以及 Yulia Tsvetkov

• 论文地址：https://arxiv.org/pdf/2306.00924.pdf

• 论文 22：MultiInstruct: Improving Multi-Modal Zero-Shot Learning via Instruction Tuning

• 机构：弗吉尼亚理工大学

• 论文作者：Zhiyang Xu, Ying Shen 以及 Lifu Huang

• 论文地址：https://arxiv.org/pdf/2212.10773.pdf

• 论文 23：Multilingual LLMs are Better Cross-lingual In-context Learners with Alignment

• 机构：DTU、德里印度理工学院

• 论文作者：Eshaan Tanwar, Subhabrata Dutta, Manish Borthakur and Tanmoy Chakraborty

• 论文地址：https://arxiv.org/pdf/2305.05940.pdf

• 论文 24：Neural Machine Translation Methods for Translating Text to Sign Language Glosses

• 机构：柏林工业大学、德国人工智能研究中心

• 论文作者：Dele Zhu, Vera Czehmann 以及 Eleftherios Avramidis

• 论文地址：https://aclanthology.org/2023.acl-long.700.pdf

• 论文 25：NLPositionality: Characterizing Design Biases of Datasets and Models

• 机构：华盛顿大学、CMU、艾伦人工智能研究所

• 论文作者：Sebastin Santy, Jenny Liang, Ronan Le Bras, Katharina Reinecke 以及 Maarten Sap

• 论文地址：https://arxiv.org/pdf/2306.01943.pdf

• 论文 26：PeaCoK: Persona Commonsense Knowledge for Consistent and Engaging Narratives

• 机构：洛桑联邦理工学院、索尼

• 论文作者：Silin Gao, Beatriz Borges, Soyoung Oh, Deniz Bayazit, Saya Kanno, Hiromi Wakaki, Yuki Mitsufuji 以及 Antoine Bosselut

• 论文地址：https://arxiv.org/pdf/2305.02364.pdf

• 论文 27：QUEST: A Retrieval Dataset of Entity-Seeking Queries with Implicit Set Operations

• 机构：宾夕法尼亚大学、 Google DeepMind

• 论文作者：Chaitanya Malaviya, Peter Shaw, Ming-Wei Chang, Kenton Lee 以及 Kristina Toutanova

• 论文地址：https://arxiv.org/pdf/2305.11694.pdf

• 论文 28：Question-Answering in a Low-resourced Language: Benchmark Dataset and Models for Tigrinya

• 机构：韩国科学技术院

• 论文作者：Fitsum Gaim, Wonsuk Yang, Hancheol Park 以及 Jong Park

• 论文地址：https://aclanthology.org/2023.acl-long.661.pdf

• 论文 29：Scaling in Cognitive Modelling: a Multilingual Approach to Human Reading Times

• 机构：米兰比可卡大学、

• 论文作者：Andrea Gregor de Varda 以及 Marco Marelli

• 论文地址：https://aclanthology.org/2023.acl-short.14.pdf

• 论文 30：SCOTT: Self-Consistent Chain-of-Thought Distillation

• 机构：南加州大学、亚马逊

• 论文作者：Peifeng Wang, Zhengyang Wang, Zheng Li, Yifan Gao, Bing Yin 以及 Xiang Ren

• 论文地址：https://arxiv.org/pdf/2305.01879.pdf

• 论文 31：The Mechanical Bard: An Interpretable Machine Learning Approach to Shakespearean Sonnet Generation

• 机构：杜克大学

• 论文作者：Edwin Agnew, Michelle Qiu, Lily Zhu, Sam Wiseman 以及 Cynthia Rudin

• 论文地址：https://aclanthology.org/2023.acl-short.140.pdf

• 论文 32：The Tail Wagging the Dog: Dataset Construction Biases of Social Bias Benchmarks

• 机构：加州大学洛杉矶分校、谷歌研究院等

• 论文作者：Nikil Selvam, Sunipa Dev, Daniel Khashabi, Tushar Khot 以及 Kai-Wei Chang

• 论文地址：https://arxiv.org/pdf/2210.10040.pdf

• 论文 33：Towards Zero-Shot Multilingual Transfer for Code-Switched Responses

• 机构：佐治亚理工学院、 Meta

• 论文作者：Ting-Wei Wu, Changsheng Zhao, Ernie Chang, Yangyang Shi, Pierce Chuang, Vikas Chandra 以及 Biing Juang

• 论文地址：https://aclanthology.org/2023.acl-long.417.pdf

• 论文 34：Transfer and Active Learning for Dissonance Detection: Addressing the Rare-Class Challenge

• 机构：石溪大学

• 论文作者 Vasudha Varadarajan, Swanie Juhng, Syeda Mahwish, Xiaoran Liu, Jonah Luby, Christian Luhmann 以及 H. Andrew Schwartz

• 论文地址：https://arxiv.org/pdf/2305.02459.pdf

• 论文 35：VisText: A Benchmark for Semantically Rich Chart Captioning

• 机构：MIT

• 论文作者：Benny Tang, Angie Boggust 以及 Arvind Satyanarayan

• 论文地址：https://vis.mit.edu/pubs/vistext.pdf

• 论文 36：What’s the Meaning of Superhuman Performance in Today’s NLU?

• 机构：Babelscape、罗马大学等

• 论文作者：Simone Tedeschi, Johan Bos, Thierry Declerck, Jan Hajič, Daniel Hershcovich, Eduard Hovy, Alexander Koller, Simon Krek, Steven Schockaert, Rico Sennrich, Ekaterina Shutova 以及 Roberto Navigli

• 论文地址：https://arxiv.org/pdf/2305.08414.pdf

• 论文 37：WikiBio: a Semantic Resource for the Intersectional Analysis of Biographical Events

• 机构：都灵大学、格罗宁根大学

• 论文作者：Marco Antonio Stranisci, Rossana Damiano, Enrico Mensa, Viviana Patti, Daniele Radicioni 以及 Tommaso Caselli

• 论文地址：https://arxiv.org/pdf/2306.09505.pdf

• 论文 38：World-to-Words: Grounded Open Vocabulary Acquisition through Fast Mapping in Vision-Language Models

• 机构：密歇根大学

• 论文作者：Ziqiao Ma, Jiayi Pan 以及 Joyce Chai

• 论文地址：https://arxiv.org/pdf/2306.08685.pdf

其他奖项

大会还公布了一些特别奖项，包括复现奖（Reproduction Award)、资源奖（Resource Award）、社会影响力奖（Social Impact Award）、主题论文奖（Theme Paper Award）。

复现奖：Do CoNLL-2003 Named Entity Taggers Still Work Well in 2023?

• 机构：佐治亚理工学院 

• 论文作者：Shuheng Liu ，Alan Ritter

• 论文地址：https://aclanthology.org/2023.acl-long.459/

资源奖：When Does Translation Require Context? A Data-driven, Multilingual Exploration

• 机构：卡内基梅隆大学、里斯本高等理工学院等

• 论文作者：Patrick Fernandes, Kayo Yin, Emmy Liu, André Martins ，Graham Neubig

• 论文地址：https://arxiv.org/abs/2109.07446

社会影响力奖：Marked Personas: Using Natural Language Prompts to Measure Stereotypes in Language Models

• 机构：斯坦福大学

• 论文作者：Myra Cheng, Esin Durmus ，Dan Jurafsky

• 论文地址：https://arxiv.org/abs/2305.18189

主题论文奖：Weaker Than You Think: A Critical Look at Weakly Supervised Learning

• 机构：萨尔大学、亚马逊、维也纳大学

• 论文作者：Dawei Zhu, Xiaoyu Shen, Marius Mosbach, Andreas Stephan ， Dietrich Klakow

• 论文地址：https://arxiv.org/abs/2305.17442

领域主席奖

语言多样性

• 论文：Small Data, Big Impact: Leveraging Minimal Data for Effective Machine Translation

• 论文作者：Jean Maillard, Cynthia Gao, Elahe Kalbassi, Kaushik Ram Sadagopan, Vedanuj Goswami, Philipp Koehn, Angela Fan and Francisco Guzman

• 论文地址：https://aclanthology.org/2023.acl-long.154/

情感分析、文体分析和论据挖掘

• 论文：StoryTrans: Non-Parallel Story Author-Style Transfer with Discourse Representations and Content Enhancing

• 论文作者：Xuekai Zhu, Jian Guan, Minlie Huang 以及 Juan Liu

• 论文地址：https://arxiv.org/pdf/2208.13423.pdf

语言以及语言学

• 论文：Resolving Indirect Referring Expressions for Entity Selection

• 论文作者：Mohammad Javad Hosseini, Filip Radlinski, Silvia Pareti 以及 Annie Louis

• 论文地址：https://arxiv.org/pdf/2212.10933.pdf

语义学：句子级语义学、文本推理和其他领域

• 论文：ParaAMR: A Large-Scale Syntactically Diverse Paraphrase Dataset by AMR Back-Translation

• 论文作者：Kuan-Hao Huang, Varun Iyer, I-Hung Hsu, Anoop Kumar, Kai-Wei Chang 以及 Aram Galstyan

• 论文地址：https://arxiv.org/pdf/2305.16585.pdf

问答

• 论文：DisentQA: Disentangling Parametric and Contextual Knowledge with Counterfactual Question Answering

• 论文作者：Ella Neeman, Roee Aharoni, Or Honovich, Leshem Choshen, Idan Szpektor 以及 Omri Abend

• 论文地址：https://arxiv.org/pdf/2211.05655.pdf

语义学: Lexical

• 论文：LexSym: Compositionality as Lexical Symmetry

• 论文作者：Ekin Akyurek 以及 Jacob Andreas

• 论文地址：https://arxiv.org/pdf/2201.12926.pdf

NLP 应用

• 论文：Are You Copying My Model? Protecting the Copyright of Large Language Models for EaaS via Backdoor Watermark

• 论文作者：Wenjun Peng, Jingwei Yi, Fangzhao Wu, Shangxi Wu, Bin Bin Zhu, Lingjuan Lyu, Binxing Jiao, Tong Xu, Guangzhong Sun 以及 Xing Xie

• 论文链接：https://arxiv.org/pdf/2305.10036.pdf

语言与多模态模型

• 论文：Hearing Lips in Noise: Universal Viseme-Phoneme Mapping and Transfer for Robust Audio-Visual Speech Recognition

• 论文作者：Yuchen Hu, Ruizhe Li, Chen Chen, Chengwei Qin, Qiu-Shi Zhu 以及 Eng Siong Chng

• 论文地址：https://aclanthology.org/2023.acl-long.848/

NLP 模型的可解释性和分析

• 论文：Entity Tracking in Language Models

• 论文作者：Najoung Kim ， Sebastian Schuster

• 论文地址：https://arxiv.org/abs/2305.02363

语言学理论、认知建模和心理语言学

• 论文：Exploring How Generative Adversarial Networks Learn Phonological Representations

• 论文作者：Jingyi Chen ，Micha Elsner

• 论文地址 https://arxiv.org/abs/2305.12501

资源与评估

• 论文：Tell2Design: A Dataset for Language-Guided Floor Plan Generation

• 论文作者：Sicong Leng, Yang Zhou, Mohammed Haroon Dupty, Wee Sun Lee, Sam Joyce 以及 Wei Lu

• 论文地址：https://aclanthology.org/2023.acl-long.820/

多语言和跨语言 NLP

• 论文：Glot500: Scaling Multilingual Corpora and Language Models to 500 Languages

• 论文作者：Ayyoob ImaniGooghari, Peiqin Lin, Amir Hossein Kargaran, Silvia Severini, Masoud Jalili Sabet, Nora Kassner, Chunlan Ma, Helmut Schmid, André Martins, François Yvon 以及 Hinrich Schütze

• 论文地址：https://arxiv.org/abs/2305.12182

演示赛道奖

最佳 Demo 奖

• 论文：VisKoP: Visual Knowledge oriented Programming for Interactive Knowledge Base Question Answering

• 作者：Zijun Yao, YUANYONG CHEN, Xin Lv, Shulin Cao, Amy Xin, Jifan Yu, Hailong Jin, jianjun xu, Peng Zhang, Lei Hou and Juanzi Li

• 链接：https://aclanthology.org/2023.acl-demo.17/

杰出 Demo 奖

• 论文 1：CB2: Collaborative Natural Language Interaction Research Platform

• 作者：Jacob Sharf, Mustafa Omer Gul and Yoav Artzi

• 链接：https://arxiv.org/abs/2303.08127

• 论文 2：disco: a toolkit for Distributional Control of Generative Models

• 作者：Germán Kruszewski, Jos Rozen and Marc Dymetman

• 链接：https://arxiv.org/abs/2303.05431

参考链接：

https://2023.aclweb.org/

https://2023.aclweb.org/program/

分享

收藏

点赞

在看