【论文泛读154】ERNIE 3.0：大规模知识增强语言理解和生成的预训练_ernie 3.0: large-scale knowledge enhanced pre-trai

贴一下汇总贴：论文阅读记录

论文链接：《ERNIE 3.0: Large-scale Knowledge Enhanced Pre-training for Language Understanding and Generation》

一、摘要

预训练模型在各种自然语言处理 (NLP) 任务中取得了最先进的结果。最近的工作如 T5 和 GPT-3 表明，扩大预训练的语言模型可以提高它们的泛化能力。特别是，具有 1750 亿个参数的 GPT-3 模型显示了其强大的任务无关的零样本/少样本学习能力。尽管取得了成功，但这些大规模模型是在纯文本上训练的，而没有引入语言知识和世界知识等知识。此外，大多数大型模型都是以自回归方式训练的。因此，这种传统的微调方法在解决下游语言理解任务时表现出相对较弱的性能。为了解决上述问题，我们提出了一个统一的框架，命名为 ERNIE 3.0 用于预训练大规模知识增强模型。它融合了自回归网络和自编码网络，因此可以通过零样本学习、少样本学习或微调轻松地为自然语言理解和生成任务量身定制训练好的模型。我们在由纯文本和大规模知识图组成的 4TB 语料库上用 100 亿个参数训练模型。实证结果表明，该模型在 54 个中文 NLP 任务上的表现优于最先进的模型，其英文版在 SuperGLUE 基准测试（2021 年 7 月 3 日）上获得第一名，超过人类表现 +0.8%（ 90.6% 对 89.8%）。这样训练好的模型可以通过零样本学习、少样本学习或微调轻松地针对自然语言理解和生成任务进行定制。我们在由纯文本和大规模知识图组成的 4TB 语料库上用