windows环境下的langchain-ChatGLM的本地部署_windows langchain
赞
踩
首先是项目开源地址 https://github.com/imClumsyPanda/langchain-ChatGLM
下载这个项目的源码非常简单，但运行起来十分麻烦，各种环境的搭配简直是折磨人，尤其是电脑上缺少各种安装环境的，我首先先列举几个，例如conda安装python的虚拟环境，用这个比较方便，还有Anoconda的安装，Visual Studio 的安装等等，反正运行时缺少什么，我们就安装什么就完事了。
B站有一个类似的本地部署值得参考一下：【防坑指南】手把手演示本机部署langchain+chatGLM本地知识库_哔哩哔哩_bilibili
一、跟着B站的这个视频安装下去，我们可能在第一步的安装依赖 pip install -r requirements.txt 会报一个编码检测不到的错误需要把这个文档改成utf-8的格式，但我们的文档查看本身就是utf-8的,这时候我们需要修改encoding的代码。
1、没用使用虚拟环境的一般在C盘的安装python目录下，我这里给出我的路径参考C:\Program Files\Python39\Lib\site-packages\pip\_internal\utils\encoding.py
在encoding.py的data.decode函数后面加上一个ignore属性，这样pip install -r requirements.txt就可以正常安装。
2、如果我们使用的是conda创建的虚拟环境我们就要在conda的安装目录下面找到类似的，我的conda安装到的是d盘，我的参考路径为D:\Anaconda\envs\langchain\Lib\site-packages\pip\_internal\utils\encoding.py，同样也是将在encoding.py的data.decode函数后面加上一个ignore属性
这样我们就可以正常使用安装命令 pip install -r requirements.txt，如果安装失败，我们就根据提示安装缺少的环境就可以了，安装成功后，我们的第一步就完成了。
二、更具项目文档提示，我们需要设置webui的交互界面，我们需要修改configs目录下的model_config.py文件，我们需要将自己的本地模型放进来，B站的视频只修改了一个chatglm-6b模型，我是用的是chatglm-6b-int8和text2vec-base-chinese这两个模型，这两个模型的下载地址为：数据集 - LangChain-ChatGLM-Webui - OpenI - 启智AI开源社区提供普惠算力！ (pcl.ac.cn)，新建一个model文件夹存放这两个目录。
根据文提示修改路径和默认模型：模型的本地地址必须是绝对地址
1、text2vec-base-chinese模型
2、chatglm-6b-int8模型
值得注意的是，B站视频上面的和我们下载下来的源文件有些许的不同，我们需要在我们下载的代码里面加入加载本地的model
加入NO_REMOTE_MODEL = True和MODEL_DIR = "model/"这两个命令，后面这个是否对程序有影响我没有验证，加上肯定没有问题。
这样model_config.py就修改成功了。
三、和视频一样可能会爆torch错误，根据视频下载相同的torch就行了，视频地址：【防坑指南】手把手演示本机部署langchain+chatGLM本地知识库_哔哩哔哩_bilibili
四、我们需要修改项目的启动地址，将webui.py文件的项目启动地质“0.0.0.0”修改为localhost，将share属性修改为Ture就完事了。
最后的运行界面可以支持LLM对话和知识库问答、Bing搜索：
LLM对话界面：
知识库问答，知识库问答需要我们上传知识库。
以上就是我的全部安装过程，欢迎大家交流。
