转载【NLP实践——Llama-2 多轮对话prompt构建】

NLP实践——Llama-2 多轮对话prompt构建

1. 问题提出
   最近，META开源了Llama-2模型，受到了广泛的关注和好评，然而，在官方给的使用说明中，并没有对使用方法进行特别细节的介绍，尤其是对于对话任务，这就给我们在使用时带来了很多困扰。

以ChatGLM为例，在执行多轮对话时，需要将历史信息拼接到输入中，以供模型在生成时计算历史token与当前query之间的交互（self-attn）：

ChatGLM中对话prompt的产生：

	prompt = ""
	for i, (old_query, response) in enumerate(history_input):
	    prompt += "[Round {}]\n问：{}\n答：{}\n".format(i, old_query, response)
	prompt += "[Round {}]\n问：{}\n答：".format(len(history_input), query_input)
1
2
3
4

所以可以很自然的想到，如果使用Llama-2模型进行对话，应该也有这样一套模板，与训练过程中的对话形式相匹配。

于是经过简单的搜索后，在reddit论坛找到了Llama-2官方所提供的说明：

https://www.reddit.com/r/LocalLLaMA/comments/155po2p/get_llama_2_prompt_format_right/

2. prompt的正确形式
   根据官方账号给出的说明，在对话时，用户所提供的prompt应当满足以下形式：

<s>[INST] <<SYS>>
{{ system_prompt }}
<</SYS>>

{{ user_message }} [/INST]
1
2
3
4
5

其中，，<\s>，<>，<>，[INST]，以及[/INST]是特殊token，标记着prompt中各个部分的构成。

{{ system_prompt }}部分是整个对话中的通用前缀，一般用来给模型提供一个身份，作为对话的大背景。
{{ user_message }}部分是用户所提供的信息，可以理解为多轮对话中其中一轮对话的内容。

并且，其给出了一个样例：

<s>[INST] <<SYS>>
You are a helpful, respectful and honest assistant. Always answer as helpfully as possible, while being safe.  Your answers should not include any harmful, unethical, racist, sexist, toxic, dangerous, or illegal content. Please ensure that your responses are socially unbiased and positive in nature.

If a question does not make any sense, or is not factually coherent, explain why instead of answering something not correct. If you don't know the answer to a question, please don't share false information.
<</SYS>>

There's a llama in my garden 
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家小花儿/article/detail/930650