论文解读 | ICML2024：大型语言模型知识编辑中的邻近扰动与APP缓解方法

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

作者简介

马君瑜，中国科学技术大学博士生

论文标题

Neighboring Perturbations of Knowledge Editing on Large Language Models

论文链接：https://arxiv.org/pdf/2401.17623 

代码链接：https://github.com/mjy1111/PEAK

AITIME

01

引言

尽管大型语言模型 (LLMs) 具有出色的能力，但由于错误或过时的知识，它们很容易产生幻觉。由于重新训练 LLM 的资源消耗大，当下很多工作关注知识编辑。它可以在不重新训练模型的基础上，去修改模型的参数知识。然而，当前的方法和评估主要关注新的知识是否被模型记忆，很少探索编辑对邻近知识的扰动。 

本文研究将新知识更新到模型中是否会扰乱其中封装的近邻知识。具体来说，如图所示，作者试图弄清楚将新答案附加到事实问题的答案列表中是否会导致灾难性地忘记此列表中的原始正确答案，以及无意中引入错误答案。本文引入了新的可加性指标，并构建了附加知识扰动评估 (PEAK) 的基准，以评估附加新知识时对邻近知识的扰动程度。此外还提出了一种即插即用的框架APP来减轻邻近扰动。在多个大模型和编辑方法上的实验证明了APP的有效性。

AITIME

02

可加性

AITIME

03

数据集

             最后数据集的统计如下：

AITIME

04

方法：通过保存和预防追加（APP）

AITIME

05

实验

5.1 实验设置

考虑到计算资源有限，PEAK-CF 数据集是在 GPT-2 XL (1.5B)和 LLaMA-2 (7B) 上进行的。PEAK-T 是在 GPT-2 XL 和 GPT-J (6B) 上进行的。本文选取五种流行的知识编辑方法作为基线，包括 FT、KN、 MEND、ROME和MEMIT。

5.2 主要结果

如下图所示是在PEAK-CF上的实验结果（PECK-T结果见论文），主要从以下几个角度分析：

• 编辑新目标知识的性能。除 KN 外，其他编辑方法在有效性（ES）和泛化性 (GS) 方面表现良好，表明大多数现有编辑方法能够有效地添加新的目标知识。对于局部性（LS），定位-编辑方法 (KN、ROME、MEMIT) 明显优于其他方法，表明它们对无关知识的干扰很小。此外，随着模型尺寸的增加，特定编辑方法在添加新事实方面的性能不断提高。

• 编辑对邻近知识的扰动。本文惊讶地发现，现有的编辑方法在编辑后会显著扰动 LLM 中与目标知识相邻的知识，损害原始正确知识的完整性并引入意外的噪音。以 ROME 在 PEAK-CF 上编辑的 LLaMA-2 为例，尽管它在之前的指标评估中表现出色，但在 Hard 设置中，它的表现却非常差，分别为 93.05% AFF 和 82.47% ANF。

• APP框架对扰动的缓解。如表 3 底部四行所示，APP 与四种编辑方法相结合。总体而言，APP 在以前的编辑指标方面几乎没有下降，并且在 Hard 和 Random 设置下大大减轻了 AFF 和 ANF 方面的邻域扰动。特别是，ROME+APP 和 MEMIT+APP 在添加新知识方面仍然表现良好，与原始编辑方法相比，扰动减少最为显著。这些结果可以得出结论，APP 有效地保留了原始正确知识的完整性，并防止了在添加新知识时引入错误知识。尽管可加性有了显著改善，但仍远低于令人满意的水平，凸显了所提出的邻近扰动的严重性和复杂性。应对这一挑战需要社区的共同努力。

5.3 答案概率变化

为了进一步分析编辑模型中的邻近扰动和提出的 APP 的机制，下图说明了在 PEAK-CF 上用不同方法编辑的 LLaMA-2 模型中正确和错误答案的平均概率。这里可以得出两个结论。

现有的编辑方法严重扰乱了概率。与原始 LLaMA-2 相比，正确答案的概率显着下降，而错误答案（Hard）的概率增加了很多，尤其是对于 MEMIT 和 ROME。与错误答案（Hard）相比，编辑后错误答案（Random）的概率的偏移明显较小，这表明与新附加答案联系更紧密的错误答案值得更多关注。

APP 有效地缓解了概率扰动。将现有的编辑方法与所提出的 APP 结合起来后，正确和错误答案的概率扰动都得到了显著缓解。这些结果解释了为什么 APP 可以有效地缓解扰动，从而保留正确的知识并防止包含错误的知识。

AITIME

06

总结

本文研究了大模型上知识编辑的邻近扰动。引入了可加性度量，并构建了 PEAK 的基准来评估邻近知识的扰动程度。提出了一种即插即用框架 APP，通过最小化知识附加过程中的概率中断来缓解扰动。对各种知识编辑方法和 大模型的综合实验表明，它们在编辑过程中不可避免地会扰动邻近知识，此外所提出的 APP 方法在一定程度缓解了这种扰动。

往期精彩文章推荐

记得关注我们呀！每天都有新知识！

 关于AI TIME 

AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

迄今为止，AI TIME已经邀请了1800多位海内外讲者，举办了逾600场活动，超700万人次观看。

我知道你

在看

提出观点，表达想法，欢迎

留言

点击 阅读原文 查看讲者直播回放！