PhaseEvo: Towards Unified In-Context Prompt Optimization for Large Language Models

本文是LLM系列文章，针对《PhaseEvo: Towards Unified In-Context Prompt Optimization for Large Language Models》的翻译。

摘要

为大型语言模型（LLM）制作一个理想的提示是一项具有挑战性的任务，需要大量的资源和专家的人力投入。现有工作将提示指令的优化和上下文学习示例视为不同的问题，导致次优的提示表现。本研究通过建立一个统一的上下文提示优化框架来解决这一局限性，该框架旨在实现提示指令和示例的联合优化。然而，在离散和高维的自然语言空间中制定这样的优化方案在收敛性和计算效率方面带来了挑战。为了克服这些问题，我们提出了PHASEVO，这是一个有效的自动提示优化框架，它将LLM的生成能力与进化算法的全局搜索能力相结合。我们的框架采用了多阶段设计，结合了创新的基于LLM的变异算子，以提高搜索效率并加速收敛。我们在35项基准任务中对我们的方法进行了广泛的评估。结果表明，PHASEVO在保持良好效率的同时，显著优于最先进的基线方法。

1 引言

2 前言

3 方法

4 实验

5 相关工作

6 结论和讨论

在这项工作中，我们提出了一个统一的上下文提示优化框架，该框架能够对提示指令和小样本示例进行联合优化。得益于全局局部阶段优化调度和基于LLM的新型变异操作的设计，PHASEVO在广泛的基准任务中实现了最先进的性能。尽管PHASEEVO实现了所有基线中最低的计算需求，但它仍然需要大约12次迭代和4000次API调用&#x