当前位置:   article > 正文

超详细!python小白用langchain+chatgpt搭建自己业务聊天机器人_langchain训练自己的模型

langchain训练自己的模型

背景

随着chatgpt的爆火,各种开源大模型以及聊天机器人开始涌现。最近公司也想训练一个具有公司业务特色的聊天机器人,类似一个客服的角色。本人是一个java开发,对python也不是很懂,顺便把这几天的摸索的心得记录下来,如有不对或者可以改进的地方,欢迎评论指出。

方案选型

首先,在众多的开源大模型里面我们选择了口碑较好,下载量和排名都靠前的vicuna。vicuna是一个可以自己训练的开源模型,关于它的搭建,比较推荐知乎上大模型也内卷,Vicuna训练及推理指南,效果碾压斯坦福羊驼这篇文章,按照这片文章一步一步来可以搭建起来。值得注意的是,如果要训练,一定要买英伟达A100 80G的显卡,如果是单卡的话,基于7B模型来训练的话,CPU内存要大于170G,同时采用文章中提到的offload的方式将训练数据保存在CPU内存。我是在阿里云上购买按时收费的A100实例,大概150元一个小时,最后通过dummy.json的方式微调模型,训练出来自己的业务模型,又将模型导出放到英伟达T4的机器上去运行。

vicuna这个方案确实可以训练出自己的模型并运行自己的业务聊天机器人。可能自己对机器学习这块涉及较少,训练出来的模型总是出现过拟合的情况。回答dummy.json内相关的问题还是很不错的,但是如果是跟这个json文件不相关的问题,它的回答也是文件内的答案。

这让人很头疼!

经过一番调研,最终决定用chatgpt-3.5的API来搭建。查了很多资料后,利用比较方便的langchain+gpt的方式能快速搭建一个自己的业务机器人,对于我这种python小白来说,还是很友好的,相关的博客、帖子也都挺多的。

环境介绍

1、本地windows环境搭建

操作系统:win11 64位

python版本:3.11.4

llama_index版本:0.5.27

langchain版本:0.0.216

一个可以使用的chatgpt的OPENAI_API_KEY

网络要求:能够访问外网的VPN(这里就各显神通了)

安装Python

首先就是要安装python,这个我在python官网直接下载的

打开python官网:Welcome to Python.org ,点击 “Download”下载最新python版本。

下载完成后自动弹出安装界面,我们直接选择lnstall Now安装路径,在安装时务必先把下方两个对勾打上。

        此时要注意默认安装路径在哪个位置!好在后面环境配置做好准备工作。

然后一直下一步,关于python的安装环境这里不再累述。

安装好python后 打开windows的cmd终端,输入python --version,出现如下显示说明环境变量也配好了。 

 

python装好后可能会遇到openssl相关的问题,这里要求安装了openssl1.1以上,可以百度一下。

开始搭建 

那么接下来,咱们就开始安装搭建聊天机器人的必要模块。

主要用到了两个python模块 llama_index 和langchain

用pip安装这些模块选的是阿里云的镜像源,关于pip配置永久配置阿里云源的方法百度上很多,我这里用以下命令临时指定安装即可:

pip install llama_index==0.5.27 -i http://mirrors.aliyun.com/pypi/simple/ 
pip install langchain==0.0.216 -i http://mirrors.aliyun.com/pypi/simple/ 

这两个安装好后其实基本上就可以了。我在本地电脑F盘新建了一个ai文件夹,用来存放python代码,然后在ai文件夹内新建app.py文件和docs文件夹。app.py文件为python脚本文件,实现调用langchain模块,并学习在docs文件夹下txt文件的知识。这里docs中txt文件的内容是今天的热搜新闻《女子不穿内裤试衣隔天要求退换遭拒

app.py的文件内容如下:

  1. from llama_index import SimpleDirectoryReader, GPTVectorStoreIndex, ServiceContext, LLMPredictor, PromptHelper, download_loader, StorageContext, load_index_from_storage
  2. from langchain import OpenAI
  3. import gradio as gr
  4. import sys
  5. import os
  6. # 设置工作文件路径
  7. os.chdir(r'F:\ai')
  8. #设置全局变量 OPENAI_API_KEY,从openAI管理后台获取
  9. os.environ["OPENAI_API_KEY"] = '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'
  10. index_file = "index.json"
  11. ### step1:读取内容文件 ######
  12. def read_documents():
  13. documents = SimpleDirectoryReader('docs').load_data()
  14. return documents
  15. ### step2: 构建索引 #######
  16. def construct_index(refresh_index = False):
  17. max_input_size = 4096
  18. num_outputs = 2000
  19. max_chunk_overlap = 1.0
  20. chunk_size_limit = 600
  21. #prompt_helper = PromptHelper(max_input_size, num_outputs, max_chunk_overlap, chunk_size_limit=chunk_size_limit)
  22. #定义一个 LLM 模板
  23. llm_predictor = LLMPredictor(llm=OpenAI(temperature=0.7, model_name="gpt-3.5-turbo", max_tokens=2048))
  24. #配置 service 上下文
  25. service_context = ServiceContext.from_defaults(llm_predictor = llm_predictor)
  26. # 如果本地磁盘上有已经构建的索引 优先用本地索引
  27. persist_dir="index_dir"
  28. persist_file = persist_dir + "/vector_store.json"
  29. if not refresh_index and os.path.exists(persist_file):
  30. storage_context = StorageContext.from_defaults(persist_dir=persist_dir)
  31. index = load_index_from_storage(storage_context, service_context=service_context)
  32. else:
  33. #获取文档知识
  34. documents = read_documents()
  35. #build index
  36. index = GPTVectorStoreIndex.from_documents(documents, service_context=service_context)
  37. # save index to disk
  38. index.storage_context.persist(persist_dir=persist_dir)
  39. return index
  40. ### step3: 查询索引 #########
  41. def query_index(query_str):
  42. #获取索引文件
  43. index = construct_index()
  44. #查询引擎
  45. query_engine = index.as_query_engine()
  46. #查询问题
  47. response = query_engine.query(query_str)
  48. print(response)
  49. return response
  50. query_index("女子不穿内裤试衣隔天要求退换遭拒");

然后运行python app.py后,打印出来gpt的回答如下:

 我们将问题改成“请用中文简单介绍下女子不穿内裤试衣事情来龙去脉”,下面是回答结果:

 看上去总结的还不错。到这里基本上就已经实现了将自己的专业知识灌输给chatGPT,来搭建自己的聊天机器人了。事实上我们的数据信息一般都不是txt文件的,而是存放在数据库的。当然llama_index提供的远不止文本连接器,还有很多的数据格式的解析器,包括PDF文件,PPT文件,具体可以在llamaHub上来找自己需要的连接器Llama Hub (llama-hub-ui.vercel.app)

因为我们公司的业务数据都是存在MySQL里的,所以我在这里使用了database连接器。读取了员工信息表的内容

  1. # 从数据库读取文档信息方法
  2. def _read_documents_from_db():
  3. DatabaseReader = download_loader('DatabaseReader')
  4. reader = DatabaseReader(
  5. scheme = "mysql",
  6. host = "rm-uf687684hm5oaouhgmo.mysql.rds.aliyuncs.com",
  7. port = "3306",
  8. user ="*****",
  9. password = "**********",
  10. dbname = "gpt-ai",
  11. )
  12. query = f"""
  13. select CONCAT('姓名:', name,' 工号:',jobnumber, ' 手机号:', mobile, ' 职位:', position, ' 部门:
  14. ', department_name, ' 入职时间:', left(hired_date, 10)) as text from om_org_employee where flag = 1
  15. """
  16. documents = reader.load_data(query=query)
  17. return documents

特别提醒:用数据库连接的方式要特别注意数据泄露的可能性,虽然chatgpt协议里说调用API不会存储用来训练,在官网页面提问的会,还是自己决定吧。

然后为了能在页面上用交互的方式提问,我又引入了gradio组件,这个家伙相当方便,提供了各种自定义样式的输入和输出格式,还生成了一个可供别人在线访问的临时url。核心就是将我们的提问chatgpt的方法作为一个回调函数,然后将返回结果显示在页面的输出。

  1. ### 使用gradio页面模板嵌入查询引擎
  2. iface = gr.Interface(fn=query_index,
  3. inputs=[gr.Textbox(lines=7, label="请输入您的问题")],
  4. outputs=gr.Textbox(lines=7, label="这是我的回答"),
  5. title="有家GPT",description="<h3>我会将我知道的都告诉你</h3>")
  6. iface.launch(share=True, server_port=9090,auth=("admin", "123456"))

改进后的app.py全部代码如下,里面的注释写的很清晰,在第一次学习到知识生成索引文件和启动后提问都是会消耗chatgpt的token的,所以在学习知识后我把索引文件存在本地,后续运行时候如果本地有索引文件,就不需要重新生成,可以直接读取。但是如果想学习新的知识,需要删除本地的索引文件,或者更改app.py里的代码。

  1. from llama_index import SimpleDirectoryReader, GPTVectorStoreIndex, ServiceContext, LLMPredictor, PromptHelper, download_loader, StorageContext, load_index_from_storage
  2. from langchain import OpenAI
  3. import gradio as gr
  4. import sys
  5. import os
  6. # 指定工作目录
  7. os.chdir(r'/amo')
  8. # 定义全局变量 OPENAI_API_KEY
  9. os.environ["OPENAI_API_KEY"] = '这里填你从chatgpt后台拿到的key'
  10. index_file = "index.json"
  11. # 从数据库读取文档信息方法
  12. def _read_documents_from_db():
  13. DatabaseReader = download_loader('DatabaseReader')
  14. reader = DatabaseReader(
  15. scheme = "mysql",
  16. host = "rm-uf687684hm5oaouhgmo.mysql.rds.aliyuncs.com",
  17. port = "3306",
  18. user ="*****",
  19. password = "*********",
  20. dbname = "gpt-ai",
  21. )
  22. query = f"""
  23. select CONCAT('姓名:', name,' 工号:',jobnumber, ' 手机号:', mobile, ' 职位:', position, ' 部门:', department_name, ' 入职时间:', left(hired_date, 10)) as text from om_org_employee where flag = 1
  24. """
  25. documents = reader.load_data(query=query)
  26. return documents
  27. ### step1:读取内容文件 ######
  28. def read_documents(read_source = 'docs'):
  29. if read_source == 'database':
  30. documents = _read_documents_from_db()
  31. else:
  32. documents = SimpleDirectoryReader('docs').load_data()
  33. return documents
  34. ### step2: 构建索引 #######
  35. def construct_index(refresh_index = False):
  36. max_input_size = 4096
  37. num_outputs = 2000
  38. max_chunk_overlap = 1.0
  39. chunk_size_limit = 600
  40. #prompt_helper = PromptHelper(max_input_size, num_outputs, max_chunk_overlap, chunk_size_limit=chunk_size_limit)
  41. #定义一个 LLM 模板
  42. llm_predictor = LLMPredictor(llm=OpenAI(temperature=0.8, model_name="gpt-3.5-turbo-0613", max_tokens=2048))
  43. #配置 service 上下文
  44. service_context = ServiceContext.from_defaults(llm_predictor = llm_predictor)
  45. # 如果本地磁盘上有已经构建的索引 优先用本地索引
  46. persist_dir="index_dir"
  47. persist_file = persist_dir + "/vector_store.json"
  48. if not refresh_index and os.path.exists(persist_file):
  49. storage_context = StorageContext.from_defaults(persist_dir=persist_dir)
  50. index = load_index_from_storage(storage_context, service_context=service_context)
  51. else:
  52. #获取文档知识
  53. documents = read_documents(read_source = 'database')
  54. #build index
  55. index = GPTVectorStoreIndex.from_documents(documents, service_context=service_context)
  56. # save index to disk
  57. index.storage_context.persist(persist_dir=persist_dir)
  58. return index
  59. ### step3: 查询索引 #########
  60. def query_index(query_str):
  61. #获取索引文件
  62. index = construct_index()
  63. #查询引擎
  64. query_engine = index.as_query_engine()
  65. #查询问题
  66. response = query_engine.query(query_str)
  67. print(response)
  68. return response
  69. ### step4: 使用gradio页面模板嵌入查询引擎
  70. iface = gr.Interface(fn=query_index,
  71. inputs=[gr.Textbox(lines=7, label="请输入您的问题")],
  72. outputs=gr.Textbox(lines=7, label="这是我的回答"),
  73. title="有家GPT",description="<h3>我会将我知道的都告诉你</h3>")
  74. iface.launch(share=True, server_port=9090,auth=("admin", "123456"))

好了,我们再次运行 python app.py

这里提示本地url已经生成了,但是share link(可以给别人在线访问的临时url)没有生成,这个是因为我本地windows环境的原因,在linux系统上不会有问题的。我们先用127.0.0.1:9090来访问,输入账号admin 密码123456

 完美!已成功在本地windows系统上搭建自己的业务聊天机器人。

linux服务器搭建

为了减少在服务器上翻墙的麻烦,特意买了一台临时的阿里云ECS海外服务器。

搭建和windows基本一样,先安装python3.11,然后用pip安装llama_index、langchain和gradio。如果要用mysql作为数据连接源的话还要安装mysqlclient。值得注意的是,安装mysqlclient时候坑你会报一些错误,然后就是一顿解决。

为此,我将服务器上搭建的环境全部打包成了一个docker镜像。推荐大家直接用我的镜像,运行docker容器。工作目录在/amo下面。运行容器后,进入/amo,然后执行python app.py。安装docker后详细步骤如下

1、下载镜像

docker pull meijiang/langchain-gpt:v1

2、运行容器

docker run -dt --name mygpt -p 9090:9090 meijiang/langchain-gpt:v1

3、查看容器id

docker ps 

4、进入容器

docker exec -it <你刚刚启动的容器id> bash

如下图,进入容器后再进入/amo目录,运行python app.py 就跟在windows上执行一样的步骤了。

 执行python app.py后可以访问在线gradio的链接体验。

 注意:容器内的数据库host和账号都已经失效,请更改成自己的数据库连接信息

大家也可以根据自己的情况,写一个Dockerfile,启动容器时候就运行python app.py和将app.py替换成自己的文件。

就写到这里,如果有不对的地方欢迎指正。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/IT小白/article/detail/688555
推荐阅读
相关标签
  

闽ICP备14008679号