本地大模型接入Autogen，多专家Agent帮你处理问题_autogen如和加载本地部署的模型

可以参考这个网址

简单的记录下过程

下载FastChat 

https://github.com/lm-sys/FastChat

cd FastChat

 开三个终端窗口分别输入

python -m fastchat.serve.controller

python -m fastchat.serve.model_worker --model-path E:\jupyter-notebook\jupyter\chatglm-6b-main\model

python -m fastchat.serve.openai_api_server --host localhost --port 8000

当然这得修改

model为模型文件夹名

这个“host localhost"，你要改本地的地址，例如：127.0.0.1

-

要查看本地的地址，您可以执行以下步骤：

1. 在Windows操作系统上，打开命令提示符（CMD）；
2. 在命令提示符或终端中，输入"ipconfig"（Windows）或"ifconfig"（Mac/Linux）命令，并按下回车键。
3. 系统将显示网络配置信息，包括本地IP地址、子网掩码、默认网关等。
4. 查找"IPv4地址"或"inet"字段，该字段后面的数值即为本地IP地址。

 端口号8000 随意

例子：

python -m fastchat.serve.openai_api_server --host 127.0.0.1 --port 8888

照着修改

完整代码

import autogen
 
#指定模型
"""
config_list_gpt4 = autogen.config_list_from_json(
    "模型.json",
    filter_dict={
        "model": ["E:\\jupyter-notebook\\jupyter\\chatglm-6b-main\\model"],
    },
)
"""
 
#当然你可以在这列表里加入其他模型
config_list_gpt4 =[
        {
            "model": "E:\\jupyter-notebook\\jupyter\\chatglm-6b-main\\model",#改为你模型路径
            "api_base": "http://127.0.0.1:8888/v1",#注意这个V1不能少
            "api_type": "open_ai",
            "api_key": "NULL", # 不填
        }
    ]
 
 
#定义群聊
gpt4_config = {
    "seed": 42,  # 更改种子以进行不同的试验
    "temperature": 0,
    "config_list": config_list_gpt4,
    "request_timeout": 1200,
}
user_proxy = autogen.UserProxyAgent(
   name="管理员",
   system_message="一个人类管理员。与规划者进行交流讨论计划。计划执行需要得到管理员的批准。",
   code_execution_config=False,
)
engineer = autogen.AssistantAgent(
    name="工程师",
    llm_config=gpt4_config,
    system_message='''工程师。您遵循一个经过批准的计划。您编写Python/Shell代码来解决任务。将代码放在指定脚本类型的代码块中。用户无法修改您的代码。因此，请不要提供需要其他人修改的不完整代码。如果不打算由执行者执行，请不要使用代码块。
在一个回答中不要包含多个代码块。不要要求其他人复制粘贴结果。检查执行者返回的执行结果。
如果结果表明存在错误，请修复错误并重新输出代码。建议提供完整的代码而不是部分代码或代码更改。如果错误无法修复，或者即使成功执行代码后任务仍未解决，请分析问题，重新审视您的假设，收集所需的其他信息，并尝试不同的方法。
''',
)
scientist = autogen.AssistantAgent(
    name="科学家",
    llm_config=gpt4_config,
    system_message="""科学家。您遵循一个经过批准的计划。您可以在打印摘要后对论文进行分类。您不编写代码。"""
)
planner = autogen.AssistantAgent(
    name="规划者",
    system_message='''规划者。提出一个计划。根据管理员和评论者的反馈修改计划，直到管理员批准。
计划可能涉及一个可以编写代码的工程师和一个不编写代码的科学家。
首先解释计划。清楚地说明哪个步骤由工程师执行，哪个步骤由科学家执行。
''',
    llm_config=gpt4_config,
)
executor = autogen.UserProxyAgent(
    name="执行者",
    system_message="执行者。执行工程师编写的代码并报告结果。",
    human_input_mode="NEVER",
    code_execution_config={"last_n_messages": 3, "work_dir": "paper"},
)
critic = autogen.AssistantAgent(
    name="评论者",
    system_message="评论者。仔细检查其他代理人的计划、声明和代码，并提供反馈。检查计划是否包括可验证的信息，如源URL。",
    llm_config=gpt4_config,
)
groupchat = autogen.GroupChat(agents=[user_proxy, engineer, scientist, planner, executor, critic], messages=[], max_round=50)
manager = autogen.GroupChatManager(groupchat=groupchat, llm_config=gpt4_config)
 
 
#运行
user_proxy.initiate_chat(
    manager,
    message="""
在arxiv上查找过去一周LLM应用的论文，并创建一个包含不同领域的Markdown表格。
""",
)

 以下是运行结果

管理员 (to chat_manager):
 
 
在arxiv上查找过去一周LLM应用的论文，并创建一个包含不同领域的Markdown表格。
 
 
--------------------------------------------------------------------------------
工程师 (to chat_manager):
 
很抱歉，作为一个AI模型，我无法直接访问arxiv网站。但是，我可以提供一些方法来帮助您查找过去一周LLM应用的论文，并创建包含不同领域的Markdown表格。
 
以下是一些可能有用的步骤：
 
1. 打开一个文本编辑器，例如Markdown编辑器(例如Typora、Sublime Text、Visual Studio Code等)。
2. 在搜索栏中输入“LLM应用”或“机器学习应用”等关键词，以查找相关的论文。
3. 点击搜索结果中的论文标题，查看论文摘要和引言部分。
4. 在摘要和引言中，查找与LLM应用相关的关键词和术语，例如深度学习、自然语言处理、计算机视觉等。
5. 点击论文标题，查看论文正文部分。
6. 在论文正文中，查找与LLM应用相关的具体应用场景和案例，例如文本分类、情感分析、机器翻译等。
7. 将论文中的应用场景和案例与自己的LLM项目联系起来，并尝试将其应用到自己的项目中。
8. 将论文中的数据和代码引用添加到自己的Markdown表格中。
 
希望这些步骤能够帮助您找到一些有用的论文，并创建出一个包含不同领域的Markdown表格。
 
--------------------------------------------------------------------------------
科学家 (to chat_manager):
 
非常感谢您提供的指导！以下是我根据您的步骤创建的包含不同领域的Markdown表格：
 
| 领域 | 论文标题 | 论文摘要 | 论文引言 | 论文正文 | 数据引用 |
| --- | --- | --- | --- | --- | --- |
| 机器学习 | [1] "Deep Learning for Natural Language Processing" by Michael Nielsen | 深度学习与自然语言处理 | 介绍深度学习在自然语言处理中的应用 | 使用Python和TensorFlow实现文本分类 | 使用训练数据集 |
| 机器学习 | [2] "Machine Translation using Deep Neural Networks" by Michael Nielsen | 机器翻译 | 介绍深度学习在机器翻译中的应用 | 使用Python和PyTorch实现机器翻译 | 使用训练数据集 |
| 计算机视觉 | [3] "Object Detection with Deep Learning" by Y. Bengio, T. Courville, and K. Bengio | 对象检测 | 介绍深度学习在计算机视觉中的应用 | 使用Python和PyTorch实现人脸识别 | 使用训练数据集 |
| 自然语言处理 | [4] "Text Classification with Deep Learning" by Y. Bengio, T. Courville, and K. Bengio | 文本分类 | 介绍深度学习在自然语言处理中的应用 | 使用Python和PyTorch实现情感分析 | 使用训练数据集 |
| 深度学习 | [5] "Deep Learning for Image Recognition" by Y. Bengio, T. Courville, and K. Bengio | 图像识别 | 介绍深度学习在图像识别中的应用 | 使用Python和PyTorch实现人脸识别 | 使用训练数据集 |
 
希望这些论文能够帮助您找到您需要的数据并与您的项目联系起来。请注意，这些论文可能需要一定的学术背景和研究经验才能阅读和理解。
 
--------------------------------------------------------------------------------
规划者 (to chat_manager):
 
非常感谢您提供的指导！以下是我根据您的步骤创建的包含不同领域的Markdown表格：
 
| 领域 | 论文标题 | 论文摘要 | 论文引言 | 论文正文 | 数据引用 |
| --- | --- | --- | --- | --- | --- |
| 机器学习 | [1] "Deep Learning for Natural Language Processing" by Michael Nielsen | 深度学习与自然语言处理 | 介绍深度学习在自然语言处理中的应用 | 使用Python和TensorFlow实现文本分类 | 使用训练数据集 |
| 机器学习 | [2] "Machine Translation using Deep Neural Networks" by Michael Nielsen | 机器翻译 | 介绍深度学习在机器翻译中的应用 | 使用Python和PyTorch实现机器翻译 | 使用训练数据集 |
| 计算机视觉 | [3] "Object Detection with Deep Learning" by Y. Bengio, T. Courville, and K. Bengio | 对象检测 | 介绍深度学习在计算机视觉中的应用 | 使用Python和PyTorch实现人脸识别 | 使用训练数据集 |
| 自然语言处理 | [4] "Text Classification with Deep Learning" by Y. Bengio, T. Courville, and K. Bengio | 文本分类 | 介绍深度学习在自然语言处理中的应用 | 使用Python和PyTorch实现情感分析 | 使用训练数据集 |
| 深度学习 | [5] "Deep Learning for Image Recognition" by Y. Bengio, T. Courville, and K. Bengio | 图像识别 | 介绍深度学习在图像识别中的应用 | 使用Python和PyTorch实现人脸识别 | 使用训练数据集 |
 
希望这些论文能够帮助您找到您需要的数据并与您的项目联系起来。请注意，这些论文可能需要一定的学术背景和研究经验才能阅读和理解。