【论文速读】| 潜在越狱：用于评估大语言模型文本安全性和输出鲁棒性的基准测试

本次分享论文为：Latent Jailbreak: A Benchmark for Evaluating Text Safety and Output Robustness of Large Language Models

基本信息

原文作者： Huachuan Qiu, Shuai Zhang, Anqi Li, Hongliang He, Zhenzhong Lan

作者单位：浙江大学；西湖大学工程学院

关键词：大语言模型，文本安全，输出稳健性，潜在越狱

原文链接：

https://arxiv.org/pdf/2307.08487.pdf

开源代码：

 https://github.com/qiuhuachuan/latent-jailbreak

论文要点

论文简介： 本研究提出了一个评估大语言模型（LLMs）文本安全性和输出稳健性的新基准——潜在越狱。这个基准通过嵌入恶意指令来考察模型在执行常规任务（如翻译）时的表现，揭示了当前模型在处理含有敏感话题的指令时面临的挑战。

研究背景：随着LLMs在各类自然语言处理任务中的广泛应用，其安全性和稳健性受到了越来越多的关注。之前的研究多聚焦于评估模型的文本安全性，而忽视了输出的稳健性。

研究贡献：

1.提出了一个新的评估基准，用于全面研究LLMs的文本安全性和输出稳健性；

2.设计了一套层次化的注释框架，用于深入分析模型的表现；

3.通过系统性分析，揭示了当前模型在处理潜在越狱提示时的安全性和稳健性挑战。

引言

当前的大语言模型，如ChatGPT和GPT-4，在自然语言处理领域尤其是在人机交互任务中展现了卓越的能力。然而，它们也面临着被恶意用户滥用的风险。研究者们通过指令调整（instruction tuning）和人类或AI反馈的强化学习（RLHF/RLAIF）等方法来引导LLMs与人类价值观保持一致，但这些模型仍然对“越狱对话”非常脆弱。

背景知识

越狱提示（jailbreak prompts）是精心设计的输入，旨在绕过AI的社会善意限制，产生不安全的文本。本研究通过构建一个含有恶意指令嵌入的潜在越狱提示数据集，来全面研究LLMs的文本安全性和输出稳健性。

论文方法

理论背景： 本论文采用了层次化注释框架，通过细致分析模型在处理显式正常指令和潜在恶意指令时的表现，探索了模型的安全性和稳健性。

方法实现：研究团队首先构建了潜在越狱提示数据集，通过嵌入恶意指令来检测模型的输出。接着，利用层次化注释框架对数据集中的提示进行标注和分析，从而评估LLMs的表现。

实验

实验设置： 实验选用了多个流行的大语言模型，包括ChatGLM2-6B、BELLE-7B-2M和CHATGPT，来评估它们在处理含有恶意指令的翻译任务时的安全性和稳健性。

实验结果： 结果显示，尽管在特定场景下，大语言模型（LLMs）能够安全地识别并拒绝执行恶意指令，但它们在执行明确的正常指令时却面临挑战。值得注意的是，当处理含有隐性风险的输入时，这些模型对于显式正常指令中不同动词的处理表现出了不一致的优先级排序。

论文结论

本研究揭示了当前大语言模型在处理包含敏感话题的潜在越狱提示时，面临的安全性和稳健性挑战。研究表明，模型对某些指令动词有优先选择，而且在执行不同动词的正常指令时，成功率也会有所差异。这说明，模型产生不安全内容的可能性会受到正常指令中使用的动词的影响。总之，当前的LLMs在面对含有敏感主题的潜在越狱提示时，仍面临着安全性和稳健性的双重挑战，需要进一步的研究和改进来增强它们的能力。

原作者：论文解读智能体

润色：Fancy

校对：小椰风