生成式预训练语言模型能否视作闭卷问答的知识库？_closed book qa

©原创作者 | 朱林

论文解读：

Can Generative Pre-trained Language Models Serve as Knowledge Bases for Closed-book QA?

论文作者：

Cunxiang Wang, Pai Liu, Yue Zhang

论文地址：

https://aclanthology.org/2021.acl-long.251.pdf

收录会议：

ACL2021

代码和数据集：

https://github.com/wangcunxiang/Can_PLM_Server_as_KB

01 背景

图1 预训练语言模型

BERT、GPT等大型预训练语言模型（Pre-trained Language Model, PLM）显著提高了各种自然语言处理（NLP）任务的性能。

越来越多的证据表明PLM中蕴含着大千世界丰富的知识，故最新的实验研究着重探究“LM as KB”的范式，即直接生成语言模型作为知识库（Knowledge Base, KB）来解决问题。

图2 LM直接完成闭卷问答任务

本文探讨的就是是否可以用PLM作为KB来完成闭卷问答（Closed-book QA）任务。该任务是一项极具挑战性的任务，它需要一个模型能直接回答问题，而无需访问外部知识。

形式上如图2所示，输入问题q，输出词序列o，同时将正确答案g与输出结果o进行比较来评估模型准确性。

02 问题

由于PLM天然可以存储和使用知识，所以它们可以在闭卷问答任务中实现较高的性能。然而，现有的研究留下了许多悬而未决的问题，比如：

（1） PLM在闭卷问答任务上到底有多少潜力？比如：用于训练的数据集仅包含了标准问答对数据集，是否可以通过其他语料数据来训练？