【论文泛读94】用于文本生成的预训练语言模型：一项调查_tructural adapters in pretrained language models f

贴一下汇总贴：论文阅读记录

论文链接：《Pretrained Language Models for Text Generation: A Survey》

一、摘要

文本生成已成为自然语言处理（NLP）中最重要但又具有挑战性的任务之一。深度学习的兴起通过神经生成模型，尤其是预训练语言模型（PLM）的范例，极大地推动了该领域的发展。在本文中，我们概述了用于文本生成的PLM主题中取得的主要进展。首先，我们介绍了常规任务定义，并简要介绍了用于文本生成的PLM的主流体系结构。作为核心内容，我们讨论了如何使现有的PLM适应于对不同的输入数据进行建模并满足生成的文本中的特殊属性。我们进一步总结了几种重要的用于文本生成的微调策略。最后，我们提出了几个未来的方向并总结了本文。

二、结论

本文综述了文本生成预处理语言模型的最新进展。我们主要总结了PLMs在建模输入的不同数据类型和满足输出的特殊文本属性方面的扩展。我们还讨论了几种有用的文本生成微调策略。

为了推进这一领域，有几个有前途的未来方向应用于文本生成。

• 模型扩展。尽管在第3节中提出了各种扩展，但预处理和下游生成任务之间仍然存在差异。例如，预处理阶段的“[MASK]”标记将不会在微调阶段使用，这进一步加剧了预处理-微调差异。因此，它进一步希望为文本生成设计一个合适的预处理范例。此外，在预训练期间将外部知识引入到PLMs中已被证明是有效的[张等人，2019c]，并且研究如何将相关知识