当前位置:   article > 正文

ACL 2024 | BPO:灵活的 Prompt 对齐优化技术

ACL 2024 | BPO:灵活的 Prompt 对齐优化技术

点击蓝字

1d4711336e47e1bbb5ca05dab75d4b61.jpeg

关注我们

AI TIME欢迎每一位AI爱好者的加入!

3b158c3fcfc98c8634c5d7eb0aa3fafb.png

并非所有人都熟知如何与 LLM 进行高效交流。

一种方案是,人向模型对齐。于是有了 「Prompt工程师」这一岗位,专门撰写适配 LLM 的 Prompt,从而让模型能够更好地生成内容。

而另一种更为有效的方案则是,让模型向人对齐。这也是大模型研究中非常重要的问题,无论是 GPT 还是 Claude,在对齐技术上花费大量的时间与精力。但,随着模型规模变大,基于训练的对齐技术也需要耗费更大量的资源。

因此,我们提出另外的一种方案,即黑盒提示对齐优化技术(Black-box Prompt Optimization),通过优化用户指令,从输入角度对模型进行对齐。

6513271f7062f9ef073a52ff349f8a09.png

这种方法可以在不对 LLM 进行训练的情况下,大幅提升与人类偏好的对齐程度。

而且 BPO 可以被替换到各种模型上,包括开源模型和基于API的模型。

下面是我们做的一个简单评估:

8d5dfc86d7c6bcca303ada53eb62e92e.png

在 VicunaEval 上使用 GPT-4 进行自动评估,BPO 能够大幅提升 ChatGPT、Claude 等模型的人类偏好,并助力 llama2-13b 模型大幅超过 llama2-70b 的版本。

论文:https://arxiv.org/abs/2311.04155

代码:https://github.com/thu-coai/BPO

一、方    法

BPO黑盒优化的目标是让模型更好地理解和满足人类的喜好。我们通过调整输入内容,使模型生成的输出更符合用户的期望。这个过程可以分为三个主要步骤:

e651bb3a1e190f55c4e6a7f700c0731e.png

1、反馈数据收集:为了建模人类偏好,我们首先搜集了一系列带有反馈信号的开源指令微调数据集,并对这些数据经过精心筛选和过滤。

2、构造提示优化对:我们使用这些反馈数据来引导大型模型识别出用户偏好的特征。我们首先让模型分析用户喜欢的回复和不喜欢的回复,找出其中蕴含的人类偏好特征。接着,基于这些特征,我们再利用模型优化原始的用户输入,以期得到更符合用户喜好的模型输出。

3、训练提示优化器:经过步骤一和步骤二,我们得到了大量隐含人类偏好的提示对。利用这些提示对,我们训练一个相对较小的模型,从而构建提示偏好优化器。

最终,我们可以利用该提示优化器对用户指令进行优化,并应用在广泛的LLM上。

二、效    果

我们基于英文部分开源反馈数据集和 llama2-chat-7b 构建了 BPO 优化模型。

BPO对齐技术对 GPT-3.5-turbo 有22%的提升,对 GPT-4 有 10% 的提升。

87085af17739b69ff6d0f1c7f9cc53a5.jpeg

BPO 能够助力 llama2-13b 大幅超过 llama2-70b 版本的模型效果,并让 llama2-7b 版本的模型逼近比它大 10 倍的模型。

2db3ad3efe0b666a5ea8b72b34f69e7f.jpeg

在 vicuna-7b 和 vicuna-13b 上,使用 BPO 对齐的模型超过了常用的反馈学习方法—— PPO(Proximal Policy Optimization) 和 DPO(Direct Preference Optimization)的效果,并且能够和这些方法相结合进一步提升模型效果。

d8fe479a1be10285de493007495fafbe.jpeg

此外,BPO还可以用于提升SFT数据的质量,帮助构建更高质量的SFT模型。

76b2d0142522b5b87ac6eb0b2b0fea56.jpeg

三、研究者说

问:BPO 和反馈学习方法(PPO、DPO)以及 Prompt Engineering方法(如OPRO)的区别是什么?

答:与PPO和DPO相比,BPO最大的优势在于不需要训练原本的LLM,只需要额外训练一个较小的模型即可,并且我们的实验证明这两种技术是可以相结合的。

1be1c0370a7abbb304f8fb768f7f04f0.jpeg

与 OPRO 对比,BPO 最大的特点在于更加通用,OPRO 等现有的 Prompt Engineering 技术大多需要针对特定的数据进行搜索,并且会搜索得到一个针对特定任务的提示。因此,如果用户希望使用此类方法,需要针对每种任务准备相应的数据集。而 BPO 在训练得到提示优化器后,可以优化各种用户指令。

问:BPO能否针对一条指令进行迭代优化?

答:我们在 VicunaEval 数据上验证了迭代优化指令的效果,大约在第四轮时,优化后的指令对 ChatGPT 效果最好。

74a35c9c916843c41896d490c5ddbb60.jpeg

问:BPO 究竟对用户指令做了怎样的优化?

答:我们在论文的第五小节总结了BPO的一些常见优化策略,包括:推理解释、完善用户问题、要点提示以及安全增强。

6d556dace13b5014aeae819886395c6d.png

66f981a82f359b93f5eafc1e43808ee3.png

a8d180d7683e150c6f6375146e01f857.png

7fb748fb217fa4ce136ffc1f920ebc0e.png

本文转自GLM大模型

d94126f5439493d023a68b5160ead3d0.png

点击 阅读原文 观看作者直播讲解回放!

往期精彩文章推荐

e1ceebb64055ba480fa165151a112c17.jpeg

ACL 2024|OlympiadBench: Olympiad-level 的双语、多模态的科学评测集

记得关注我们呀!每天都有新知识!

 关于AI TIME 

AI TIME源起于2019年,旨在发扬科学思辨精神,邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索,加强思想碰撞,链接全球AI学者、行业专家和爱好者,希望以辩论的形式,探讨人工智能和人类未来之间的矛盾,探索人工智能领域的未来。

迄今为止,AI TIME已经邀请了1800多位海内外讲者,举办了逾600场活动,超700万人次观看。

363797b8b2d8c3bf833f95ab417c04c1.png

我知道你

在看

提出观点,表达想法,欢迎

留言

1366757fca4b5aaf8165e816b9635318.gif

点击 阅读原文 观看作者直播讲解回放!

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/1012544
推荐阅读
相关标签
  

闽ICP备14008679号