赞
踩
跑通!跑通!全程跑通!
雄哥认为未来agent的终局大概率是一个人,管理部门多个AI Agent同时工作,人力将解放!
想象一下,你翘个二郎腿,偌大的办公室,只有你一个人,喊一句:“做个月度计划”,他自动分析上月数据,整合现有资源,做本月的规划,人场地资金!做完跟你汇报,你只需说“OK”,他自动发给老板!
当然!!老板也会接入专家Agent,帮他全权管理公司,甚至实现一个老板,请三五个员工,就能干完现在50人+的事情!
想想这多恐怖!!
上篇,我们用GPT4跑通了整个微软Autogen项目,并且拉了几个专家Agent一起做数学题、一起讨论干活!
【彻底失眠!把代理Agent拉到一个群干活!跑完微软Autogen实例后emo了!附官方论文原件】
今天我们实现本地LLM的Agent,接入微软Autogen的项目,实现完全本地化部署和推理,直接加快微软Autogen在国内商业落地的速度!
我们知道OpenAI的接口是无法在国内实现备案+商业化操作的!那本地llm实现Agent,是可以完全商业化运作的!
虽然本地部署需要大量计算资源,但本地的实现,直接打开落地的大门!
今天我们就本地实现微软的Autogen过程做分享:
①是通过什么方法实现的?用到什么工具;
②支持哪些模型?功能怎样;
③跟着代码跑一个实例!一边跑一边聊细节;
>第一部分:通过什么方法实现的?用到什么工具?
首先,你需要在知识星球下载到本地LLM+实跑教程的代码原件!
一看便知,整个实现过程非常的简单!
公号获得方法!
实现方法非常简单!
用FastChat部署启动本地LLM,然后通过对齐OpenAI的key,接入到autogen.oai.Completion库中,然后你就可以跟着第一篇的教程,部署autogen了!
FastChat>>>启动本地LLM>>>对齐OpenAI KEY>>>接入Autogen
>第二部分:支持哪些模型?功能怎样?
目前我们已经测试过多个本地的开源LLM部署,目前llama2反馈的结果是最好的!闭源模型阵营中,除了OpenAI,没有测试过!
而且,支持微调后的本地LLM,真正实现专家Agent就干专长的事!我们做了一个简单的统计表,如果你还测试过其他模型,欢迎交流!
统计情况如下(主观):
如果你在跑其他的试验,再次欢迎你加入讨论;
>第三部分:跟着代码跑一个实例,一边跑一边聊;
刚才我们也说了,得益于微软Autogen的框架,整个开发过程,非常的简单!Autogen的部署过程,上节已经讲过了!今天主要讲接入Autogen前的过程!
3.1 FastChat的部署
首先,你需要创建AI环境,具体创建过程我不说了,雄哥已经课程里有一张专门讲环境搭建的!
第四天!0基础微调大模型+知识库,部署在微信!手把手安装AI必备环境!4/45
克隆FastChat的仓库,并进入目录中
- git clone https://github.com/lm-sys/FastChat.git
- cd FastChat
如果你本地没有基座,需要你先下载
git clone https://huggingface.co/THUDM/chatglm2-6b
安装serve库
python -m fastchat.serve.controller
3.2 启动本地LLM
确保权重全部下载完成,如果你没办法用抱脸下载,你可以用国内镜像源或者在雄哥星球的链接下载
python -m fastchat.serve.model_worker --model-path chatglm2-6b
3.3 启动接API
这里注意第一个坑!没跑过的不知道!
这个“host localhost",你要改本地的地址,例如:127.0.0.1
python -m fastchat.serve.openai_api_server --host localhost --port 8000
他返回的key,是默认对齐OpenAI KEY的,意思是我们本地的LLM的API,“伪装成”OpenAI的key,让他可以被接入到Autogen中!因为星球有朋友问到这个事,简单说说!
3.4 接入Autogen
这时我们打开jupyter-notebook,具体打开方法,环境篇也说了!
这里,我们先加载oai.Completion,然后把你得到的api地址,填写到下面去!
记住!一定要加“v1”,否则是无法被接入的!其他别动!
- from autogen import oai
-
- # create a text completion request
- response = oai.Completion.create(
- config_list=[
- {
- "model": "chatglm2-6b",
- "api_base": "http://localhost:8000/v1",
- "api_type": "open_ai",
- "api_key": "NULL", # just a placeholder
- }
- ],
- prompt="Hi",
- )
- print(response)
- # create a chat completion request
- response = oai.ChatCompletion.create(
- config_list=[
- {
- "model": "chatglm2-6b",
- "api_base": "http://localhost:8000/v1",
- "api_type": "open_ai",
- "api_key": "NULL",
- }
- ],
- messages=[{"role": "user", "content": "Hi"}]
- )
- print(response)
他是支持多个本地LLM启动的!前提是你本地有足够的算力资源!
这里简单说下实现方法!把上面的步骤,稍微改改:
- python -m fastchat.serve.multi_model_worker \
- --model-path lmsys/vicuna-7b-v1.3 \
- --model-names vicuna-7b-v1.3 \
- --model-path chatglm2-6b \
- --model-names chatglm2-6b
然后再启动接入!
- from autogen import oai
-
- # create a chat completion request
- response = oai.ChatCompletion.create(
- config_list=[
- {
- "model": "chatglm2-6b",
- "api_base": "http://localhost:8000/v1",
- "api_type": "open_ai",
- "api_key": "NULL",
- },
- {
- "model": "vicuna-7b-v1.3",
- "api_base": "http://localhost:8000/v1",
- "api_type": "open_ai",
- "api_key": "NULL",
- }
- ],
- messages=[{"role": "user", "content": "Hi"}]
- )
- print(response)
之后你要做的事情,就是跟着第一篇的内容,正常配置Autogen即可!
彻底失眠!把代理Agent拉到一个群干活!跑完微软Autogen实例后emo了!附官方论文原件
>也许我们正在见证一个时代
期待吧!
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。