最新langchain v0.3版本+配合xinference框架+RAG详细教程—环境配置（常见坑总结）_xinference langchain

一、前言

前不久langchain平台发布了最新的v0.3版本，很多有想研究这个平台部署的同学们陷入了一些麻烦当中，看上去不难配置，但是问题百出，接下来分享下自己配置环境中出现的问题和解决方案，希望能帮助到各位。     

二、配置环境

首先这个项目部署实际上是需要我们大家配置两个环境的，其中一个是langchain环境，另外一个是推理框架xinference环境，分开配置就比较方便，避免出现依赖包版本不对，不适配项目需求。

现在先配置langchain环境的配置

1.安装anaconda并打开anaconda prompt

conda create -n langchain python=3.10（默认版本）

pip install langchain-chatchat -U

pip install "langchain-chatchat[xinference]" -U

（xinference是一个框架，后期有打算换别的框架进行部署也可以换成对应的框架）

跟着操作完上面的三个步骤以后，我们langchain的环境就算是部署完成了，可以将这个langchain理解成一个高级点的控制台进行使用。

chatchat-config --help

 （用来查看一些langchain的基本使用帮助）

如果打算查看我们部署的一个模型的需要修改哪些配置的话如下：

chatchat-config model --help

接着查看这个模型已经配置好的：

chatchat-config model --show

---

---

接着就是配置xinference的环境了，这个流程会是漏洞百出的，很多困难，目前我展示我遇到的问题和解决方案：

首先同样地打开anaconda prompt

conda create -n xinference python=3.11.8

(记住这里最好能安装3.11.8版本的或者往上的，小于这个版本的个人而言会出现问题)

接着安装对应的环境包，按照一般流程的话，是直接这一步骤

pip install "xinference[all]"

即可，但是安装完首先会遇到下面的情况，第一种会提醒你No module ‘Cython’没有这个包，这个问题好解决，直接

pip install Cython -i https://pypi.tuna.tsinghua.edu.cn/simple/

其次接着还会再遇到

error: Microsoft Visual C++ 14.0 or greater is required. Get it with "Microsoft C++ Build Tools": Microsoft C++ Build Tools - Visual Studio

这个问题的解决就是去安装VisualStudio 2022 中的C++ building tool来解决的，首先去官网，默认安装好VisualStudio 2022软件，记得勾选c++；

解决完之后，会再遇到一个问题：

ERROR: Failed building wheel for pynini Failed to build pynini ERROR: Could not build wheels for pynini, which is required to install pyproject.toml-based projects

这是同样的一个包未能下载下来的问题，去pynini官网上搜了下在windows上面得通过wsl才行

因此也是在其他广大网友的帮助下，发现这个可以通过安装下面指令解决：

conda install -c conda-forge pynini=2.1.5

再接着还会遇到一个问题：

因为大语言部署的一个chatglm-cpp找不到，所以我们得进行手动安装。进入官网Releases · li-plus/chatglm.cpp · GitHub，找到自己前面适配自己环境的文件，比如说我前面提到的，我的这个xinference的环境是3.11.8python版本，因此我需要找到cp311-cp311-win_amd64.whl,并且下载到你对应的虚拟环境下面进行安装。

然后在虚拟环境下敲入

 python.exe -m pip install chatglm_cpp-0.4.0-cp311-cp311-win_amd64.whl

安装成功好以后，基本就差不多了，最后一个这个环境下可能默认的torch版本是cpu的，有能力的（有钱装算力显卡的），下载下gpu版本的torch。

首先进入到虚拟环境下面的Lib/site-packages/路径下面，将这两个包删掉。

然后去到pytorch官网下面下载下对应的版本

直接将上面图片中的绿色选框部分敲进去就完成了。

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

至此，xinference的环境配套就下载完成了，我们直接通过xinference-local就可以启动xinference平台了。

xinference-local

到这里，langchain和xinference的环境就搭建好了，可以进行下一步骤的部署了。

---

如果你觉得这篇文章对你有帮助的话，麻烦点个来个关注点赞收藏三连下！！！