理解、检测与克服大语言模型的外在幻觉

引言

大语言模型（LLMs）在自然语言处理领域展现了巨大的潜力，但同时也带来了“幻觉”问题。幻觉指的是模型生成不真实、虚构或不一致的内容。Lilian Weng，OpenAI安全系统团队负责人，最近在她的博客中详细梳理了在理解、检测和克服大语言模型幻觉方面的研究成果。本文将详细介绍这些研究成果，探讨幻觉的定义、类型、产生原因、检测方法及克服策略。

幻觉的定义和类型

传统上，幻觉是指模型生成的内容与实际不符。Lilian Weng将幻觉限定为模型输出与提供的上下文或世界知识不一致，具体分为两种类型：

1. 上下文幻觉：输出与上下文内容不一致。
2. 外在幻觉：输出应该基于预训练数据集，但由于预训练数据集规模庞大，检索和识别冲突的成本非常高，导致无法每次生成时都执行。

幻觉的产生原因

大语言模型的训练分为预训练和微调两个阶段，每个阶段都有可能导致幻觉。

预训练阶段

预训练数据通常来源于公共互联网，存在信息过时、缺失或不正确的问题。模型在最大化对数似然的过程中可能以不正确的方式记忆信息，导致错误。

微调阶段

微调阶段引入新知识以提升模型的某些具体能力，如指令遵从。然而，微调能否可靠地让模型学到新知识存在风险。当微调样本中包含新知识时，模型的学习速度会减慢，并且更倾向于产生幻觉。

幻觉的检测方法

检索增强式评估

通过检索和验证生成结果中的每