大模型对话页面设计gradio+LLM/API_gradio 大模型

背景：如今大模型火爆，接口众多，想要调用接口自己设计个界面进行测试，或者交给垂类专业人员校验大模型正确性，设计个页面比较好，当然gradio是最方便的，也是首选。要求：具有上下文信息，能够流式返回（增强体验效果），具有prompt功能。

1，实现上下文功能

需要维护一个history列表，严格说是两个，一个是模型需要的数据结构，一个是gradio需要的上下文。参考

import gradio as gr
import random
import time
 
with gr.Blocks() as demo:
    chatbot = gr.Chatbot()
    msg = gr.Textbox()
    clear = gr.ClearButton([msg, chatbot])
 
    def respond(message, chat_history):
        bot_message = random.choice(["How are you?", "I love you", "I'm very hungry"])
        chat_history.append((message, bot_message))
        time.sleep(2)
        return "", chat_history
 
    msg.submit(respond, [msg, chatbot], [msg, chatbot])
 
demo.la