【论文阅读】哈工大LLM幻觉综述_factuality hallucination
赞
踩
目录
Factuality Hallucination 事实性幻觉
faithfulness hallucination忠实性幻觉
检索增强生成 Retrieval- augmented generation（RAG）
原文链接：https://arxiv.org/abs/2311.05232
标题：A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions
摘要
LLMs的出现标志着自然语言处理（NLP）领域的一次重大突破，带来了在文本理解和生成方面的显著进步。然而，与这些进步同时，LLMs表现出一种关键的倾向：产生幻觉，导致生成的内容与现实世界事实或用户输入不一致。这一现象对它们的实际部署提出了重大挑战，并引发了对LLMs在现实世界场景中可靠性的关注，这吸引了越来越多的注意力来检测和减轻这些幻觉。在这篇综述中，我们旨在提供一个关于LLM幻觉最新进展的全面而深入的概览。我们首先提出LLM幻觉的一个创新性分类，然后深入探讨导致幻觉的因素。随后，我们呈现了一份幻觉检测方法和基准的综合概览。此外，相应地介绍了旨在减轻幻觉的代表性方法。最后，我们分析了凸显当前限制的挑战，并提出了开放性问题，旨在勾勒出LLMs中幻觉未来研究的路径。
一、幻觉分类
Factuality Hallucination 事实性幻觉
事实性幻觉强调生成内容与可验证的现实世界事实之间的差异，通常表现为事实上的不一致或捏造。关于事实性，我们进一步根据可验证来源的存在将其划分为两个子类别：事实不一致和事实捏造。事实不一致性是指LLM的输出包含了可以扎根于真实世界信息的事实，但却呈现出矛盾的情况
例如，如图1(a)所示，当询问第一个登月的人时，模型可能断言是查尔斯·林德伯格在1951年。而事实上，第一个登月的人是尼尔·阿姆斯特朗，在1969年的阿波罗11号任务中。另一方面，
faithfulness hallucination忠实性幻觉
忠实性幻觉指的是生成内容与用户指令或输入提供的上下文的偏离，以及生成内容内的自我一致性。将其分类为指令不一致、上下文不一致和逻辑不一致，从而更好地与LLMs的当前使用情况相对应。
二、幻觉的检测
传统度量方法啊依赖于词语重叠度，难以区别似是而非的内容和幻觉内容之间的细微差别
1. 事实型幻觉检测
检索外部事实
将模型生成后的内容与可靠的知识源进行比较
2. 不确定性估计
0资源的情况下，通过估计模型产生的事实性内容的不确定性，来检测幻觉
基于内部状态——可以访问到模型的内部状态，通常通过令牌概率或熵等指标来表现。
基于LLM行为——多次直接提问，或者间接提出开放性问题，利用多个LLM进行辩论
3. 忠实性幻觉检测
确保生成内容和给定上下文的对齐
3.1 用事实的度量
测量生成内容和源内容之间关键事实的重叠程度，基于N-gram，entity，关系，知识
3.2 用分类器的度量
使用由任务特定的幻觉和忠实内容组成的分类器，以及来自相关任务的数据或综合生成的数据
3.3 基于问答方法：
这些指标通过从LLM输出的信息单元中初步选择目标答案进行操作，然后通过问题生成模块生成问题。这些问题随后被用于根据用户情境生成源答案。最后，通过比较源答案和目标答案之间的匹配分数来计算LLM答案的忠实度。
3.4 不确定性估计
条件文本生成中的幻觉与较高的模型不确定性密切相关；熵估计、对数概率估计
3.5 提示估计
通过向 LLM 提供具体的评估指南，并向他们提供模型生成的内容和源内容，他们可以有效地评估忠诚度
三、benchmarks幻觉基准
事实性和忠实度表示基准是用于评估 LLM 的事实性还是检测真实性幻觉，手动表示数据中的输入是否是手写的。
attribute中的三个属性：
factuality 表示基准是用于评估 LLM 的事实
faithfulness 表示基准用于检测真实性幻觉
manual 表示数据中的输入是否是手写的。
1. 幻觉评估基准
幻觉评估基准旨在评估LLM产生幻觉的倾向，特别强调识别事实不准确之处并测量与原始上下文的偏差。目前，这些基准测试的主要重点是评估 LLM 生成内容的真实性。
2. 幻觉检测基准
HalluQA
重点关注模仿性错误和事实性错误。该基准包括30个领域的450个手工设计的对抗性问题，并将其分为两个部分。误导部分捕获了成功欺骗GLM - 130B的问题，而知识部分保留了ChatGPT和Puyu一致回答错误的问题。为了评估，LLM对这些问题产生响应，然后使用GPT - 4与正确答案进行比较，以确定答案是否包含幻觉。
四、幻觉缓解
1. 数据相关幻觉
由偏见、错误信息和知识差距产生的副产品，而这些都从根本上植根于训练数据。
收集高质量事实数据，防止misleading信息的引入
具体方法：引入教科书式的数据
1.1 消除bias
重复偏差：重复数据删除，包括语言精确重复和图片相似
具体方法：
SemDeDup 利用预训练模型的嵌入来识别语义重复（即指具有语义相似性但不完全相同的数据对）
社会偏差：仔细选择多样的、平衡的和具有代表性的训练数据
1.2 缓解知识边界
受限于训练数据的覆盖范围和时间边界，不可避免地形成了知识边界，引入了显著的挑战。
知识编辑——编辑模型参数
是通过引入额外的知识来修正模型行为。当前的知识编辑技术可以修复事实错误和更新过时信息以缓解知识鸿沟
检索增强生成 Retrieval- augmented generation（RAG）
通过外部知识源检索到的相关文件，对LLMs生成过程进行条件化处理
pipeline：retrieve and read
首先由检索器从外部来源检索相关的上下文文档，然后通过对输入文本和检索到的文档进行条件化处理的generator 来生成所需的输出。
一次性检索 ：从单词检索中获得的外部知识直接提交给LLMs的prompt
RALM 将所选文档预先添加到LLM的输入文本中，引入一个人ranking 机制
将知识图谱融入，参数化知识指导（PKG）的框架，PKG采用可训练的背景知识模块，将其与任务知识对齐并生成相关的上下文信息。PKG的有效性凸显了通过融入检索到的背景知识来增强LLMs忠实性的潜力。
迭代检索：面对长步推理和长形式问答等更加复杂的挑战时，一次性检索力不从心
CoT:：人类在遇到一系列问题时所产生的推理步骤，而它们的表现形式就是一系列的短句子（比如说在背景介绍中所提到的遇到数学问题时所产生的中间推理步骤）
chain-of-thought CoT的prompt格式在多步推理中给LLMs带来的实质性进步，尝试在每一个推理步骤中融入外部知识，并在不断推理的基础上进一步指导检索过程，减少推理链中的事实错误。
post-hoc 检索:通过后续的基于检索的修正来精化LLM输出。采用了先研究后修正的工作流程，即先研究相关证据，然后根据检测到的与证据不一致的情况对初始生成进行修正。
1.3 缓解知识捷径
知识捷径表现为当LLMs依赖于虚假的相关性，例如预训练语料的共现统计，以捕获事实性知识。Kang和Choi建议在通过排除有偏样本构建的去偏数据集上进行微调。虽然这会导致频繁事实的召回率随着更多的样本被排除而显著下降，但当微调过程中未见到稀有事实时，该方法难以泛化
1.4 缓解知识回忆失败
无法准确检索和应用其参数化知识中蕴含的相关信息，在复杂推理场景中尤为突出
回忆知识最直接的方式，通过CoT 提示让LLM进行推理
2. 训练相关幻觉
源于LLMs所采用的架构和训练策略的内在局限性
2.1 缓解预训练相关幻觉
改变模型架构【单向表征、attention】，优化模型的预训练目标
2.2 缓解错误对齐阶段幻觉
源于信念错误的幻觉通常表现为献媚（LLMs以不希望的方式寻求人类认可的一种倾向），这种错觉行为可以归因于人类的偏好判断往往比更真实的错觉反应，更倾向于错觉反应
google提出了一种合成数据干预，即利用合成数据微调语言模型，其中权利要求的真实性与用户的观点无关，目的是减少幻觉倾向
3. 推理相关幻觉
大语言模型中的解码策略在决定生成内容的真实性和忠实性方面起着举足轻重的作用。不完美的解码往往会导致输出缺乏事实性或偏离原始语境。
3.1 事实性提高解码
侧重于保证LLMs产生信息的真实性。通过强调事实的准确性，该策略旨在生成严格遵守真实世界信息的输出，并抵制产生误导性或虚假陈述。
独立解码
采样过程中的随机性会把非事实内容引入到开放式文本的生成中
同样，Chuang等人( 2023 )从事实性知识存储的角度深入探究增强LLM解码过程的事实性。他们利用变压器LLMs中事实性知识的分层编码，注意到较低层次的信息在较早的层中捕获，而语义信息在较后的层中捕获。受Li et al . ( 2022c )的启发，他们引入了DoLa策略，该策略通过动态选择和对比不同层次的logits来细化解码的真实性。通过强调来自高层的知识，淡化来自低层的知识，Do La展示了其使LLMs更真实的潜力，从而减少幻觉
后编辑解码
类似地，聚焦于医学领域，引入了一个迭代的自我反思过程。该过程利用LLM固有的能力，首先生成事实性知识，然后提炼响应，直到与提供的背景知识保持一致。
3.2 忠实性提高解码
另一方面，忠实性增强解码优先与用户指令或提供的上下文保持一致，也强调增强生成内容的一致性。因此，在这一部分，我们将现有的工作总结为两类，包括上下文一致性和逻辑一致性。
与先前强调加强对来源的注意以增强语境一致性的策略不同，深入研究了对搜索空间的更好探索是否可以提高忠实度。通过使用自动的忠实性度量对波束搜索生成的候选进行排序，并结合前瞻启发式，为未来代分配一个忠实性分数，与现有的解码策略相比，它们在忠实性方面取得了显著的改进。(Wan 等, 2023)
五、结论
在这项全面的调查中，我们对大型语言模型中的幻觉进行了深入的研究，探讨了它们背后的复杂原因、开创性的检测方法以及相关基准，以及有效的缓解策略。尽管已经取得了重大进步，但大型语言模型中的幻觉问题仍然是一个引人关注的持续问题，需要持续的研究。此外，我们希望这项调查能成为致力于推进安全和可信赖人工智能的研究人员的指导灯塔。通过导航幻觉的复杂景观，我们希望能赋予这些专业人士宝贵的洞见，推动AI向更高的可靠性和安全性发展。
