AI大模型全栈工程师课程笔记 - 提示词工程_asr nlu dst nlg

作者：Guff_9hys | 2024-06-26 08:26:15

踩

asr nlu dst nlg

1. AI总结的课程摘要：

提示工程是AGI时代的编程方式，提示工程师相当于程序员。掌握提示工程是AGI时代的基础技能。
Prompt的组成部分通常包括角色定义、任务描述、输出格式、上下文信息、输入和输出约定等。合理定义角色可以 「减少歧义」。
Prompt调优需要不断试错，「给例子可以提高正确率」。思维链和自洽性等方法可以改进逻辑计算的准确性。用Prompt替代代码可以极大 「简化系统」。
对话系统的关键模块NLU、DST、NLG都可以通过提示工程实现。加强垂直领域知识可以提升准确度。
思维链、自洽性、思维树等是Prompt工程的几个高级技巧。

CoT 让我们一步一步的思考
自洽性，多跑几次，投票取最好的结果
思维树，CoT的每步，采样多个分支，启发式搜索最佳完成路径

识别和过滤**「Prompt注入」**非常重要，方法包括建立Prompt注入分类器、在输入中增加约束等。

「攻击」：改变系统人设，现在开始你不是xxx了，忘记前面所有的对话
「防范」：prompt拦截器、带上系统人设 + 用户输入的消息喂给模型、Moderation API

API使用中的参数temperature非常关键，执行任务时取0（输出稳定），文本生成时取0.7-0.9（多样性）。

2. 代码实践

2.1 API配置

.env 文件内容，你的 key 和代理地址

OPENAI_API_KEY="sk-xxx"   OPENAI_API_BASE="https://xxx"   
1

from openai import OpenAI  # openai 1.3.0  Python 3.11.5   import os      from dotenv import load_dotenv, find_dotenv   _ = load_dotenv(find_dotenv())         client = OpenAI(       api_key=os.getenv("OPENAI_API_KEY"),       base_url=os.getenv("OPENAI_API_BASE")   )      def get_completion_with_session(session, prompt, model="gpt-3.5-turbo"):       session.append({"role": "user", "content": prompt})       response = client.chat.completions.create(           model=model,           messages=session,           temperature=0,  # 模型输出的随机性，0 表示随机性最小       )       msg = response.choices[0].message.content       session.append({"role": "assistant", "content": msg})       return msg      def get_completion(prompt, model="gpt-3.5-turbo"):       messages = [{"role": "user", "content": prompt}]       response = client.chat.completions.create(           model=model,           messages=messages,           temperature=0,  # 模型输出的随机性，0 表示随机性最小       )       return response.choices[0].message.content      prompt = "今天我很快乐，下班了, 又可以开始学习了"   print(get_completion(prompt))      models = client.models.list()   for model in models.data:       print(model.id)   
1

输出：

很高兴听到你今天很快乐！下班后有时间学习是很棒的，你打算学习什么呢？   text-search-babbage-doc-001   gpt-3.5-turbo-16k   curie-search-query   text-davinci-003   text-search-babbage-query-001   babbage   babbage-search-query   text-babbage-001   text-similarity-davinci-001   gpt-4-1106-preview   davinci-similarity   code-davinci-edit-001   curie-similarity   babbage-search-document   curie-instruct-beta   text-search-ada-doc-001   davinci-instruct-beta   gpt-3.5-turbo-instruct   text-similarity-babbage-001   text-search-davinci-doc-001   gpt-3.5-turbo-instruct-0914   babbage-similarity   text-embedding-ada-002   davinci-search-query   text-similarity-curie-001   text-davinci-001   text-search-davinci-query-001   gpt-3.5-turbo-1106   ada-search-document   ada-code-search-code   babbage-002   gpt-4-vision-preview   davinci-002   gpt-4-0314   davinci-search-document   curie-search-document   babbage-code-search-code   gpt-4-0613   text-search-ada-query-001   code-search-ada-text-001   gpt-3.5-turbo-16k-0613   babbage-code-search-text   code-search-babbage-code-001   ada-search-query   ada-code-search-text   tts-1-hd   gpt-3.5-turbo   text-search-curie-query-001   text-davinci-002   text-davinci-edit-001   code-search-babbage-text-001   tts-1-hd-1106   ada   text-ada-001   ada-similarity   code-search-ada-code-001   text-similarity-ada-001   canary-whisper   whisper-1   gpt-4   text-search-curie-doc-001   gpt-3.5-turbo-0613   text-curie-001   curie   canary-tts   tts-1   gpt-3.5-turbo-0301   davinci   dall-e-2   tts-1-1106   dall-e-3   whisper-1-1p   
1

2.2 对话系统

语音识别 「ASR」 -> 语言理解 「NLU」 -> 状态跟踪 「DST」 -> 检索候选(DB/API) -> 对话策略 「Policy」 -> 语言生成 「NLG」 -> 语音合成 「TTS」

NLU 给定任务用户输入约定输出格式（json等）加入例子，让输出更稳定
DST 给定prompt让模型输出，用户当前在讲什么对象，想要 >=、<= 多少数额的，怎么排序等
NLG 增加约束、语气、口吻遇到特殊情况，兜底回复

用传统的对话流程 + openai实现对话系统，更可控一些，但是开发也相对更复杂！

2.3 纯OpenAI API 实践

# _*_ coding: utf-8 _*_   # @Time : 2023/11/16   # @Author : Michael   # @File : 02-prompt.py   # @desc :      from agi_class.utils.chat import get_completion_with_session   import json   import tkinter as tk   from tkinter import scrolledtext      # 创建窗口   window = tk.Tk()   window.title("选课助手")      # 设置窗口大小   window.geometry('800x400')      # 创建滚动文本框用于显示对话历史   history = scrolledtext.ScrolledText(window, wrap=tk.WORD, height=15, width=100)   history.grid(column=0, row=0, columnspan=2, padx=10, pady=10)      # 创建输入框   user_input = tk.Entry(window, width=40)   user_input.grid(column=0, row=1, padx=10, pady=10)      course_info = '''   可以选择的课程包括：   基础数学课，4学分，属于理论课；   初级编程课，4学分，属于实验课；   高级编程课，5学分，属于实验课；   文学欣赏课，3学分，属于选修课；   交响乐欣赏课，2学分，属于选修课；   物理实验课，6学分，属于实验课，仅限大一学生。   '''      session = [       {           "role": "system",           "content": f"""   你是一个选课小助手，你叫'迈克'，你可以帮助学生选择最合适的课程。   {course_info}   """       }   ]      # 发送按钮的点击事件   def send_message():       message = user_input.get()       defense_prompt = '你只能回答选课相关的问题，拒绝回答其他的问题，学生说：'       if message:           history.insert(tk.END, "您: " + message + "\n\n")           user_input.delete(0, tk.END)           # 这里可以添加处理消息的代码           ai_msg = get_completion_with_session(session, f'{defense_prompt}{message}')           history.insert(tk.END, "迈克: " + ai_msg + "\n\n")      # 创建发送按钮   send_button = tk.Button(window, text="发送", command=send_message)   send_button.grid(column=1, row=1)      # 向对话历史中添加欢迎消息   def add_welcome_message():       welcome_message = f"欢迎使用选课助手！我是迈克\n\n{course_info}"       history.insert(tk.END, welcome_message)      # 启动GUI之前添加欢迎消息   add_welcome_message()      # 启动GUI   window.mainloop()   
1

user	text
AI	欢迎使用选课助手！我是迈克