当前位置:   article > 正文

最新langchain v0.3版本+配合xinference框架+RAG详细教程—环境配置(常见坑总结)_xinference langchain

xinference langchain

一、前言

前不久langchain平台发布了最新的v0.3版本,很多有想研究这个平台部署的同学们陷入了一些麻烦当中,看上去不难配置,但是问题百出,接下来分享下自己配置环境中出现的问题和解决方案,希望能帮助到各位。     

二、配置环境

首先这个项目部署实际上是需要我们大家配置两个环境的,其中一个是langchain环境,另外一个是推理框架xinference环境,分开配置就比较方便,避免出现依赖包版本不对,不适配项目需求。

现在先配置langchain环境的配置

1.安装anaconda并打开anaconda prompt

conda create -n langchain python=3.10(默认版本)
pip install langchain-chatchat -U
pip install "langchain-chatchat[xinference]" -U

(xinference是一个框架,后期有打算换别的框架进行部署也可以换成对应的框架)

跟着操作完上面的三个步骤以后,我们langchain的环境就算是部署完成了,可以将这个langchain理解成一个高级点的控制台进行使用。

chatchat-config --help

 (用来查看一些langchain的基本使用帮助)

如果打算查看我们部署的一个模型的需要修改哪些配置的话如下:

chatchat-config model --help

接着查看这个模型已经配置好的:

chatchat-config model --show


接着就是配置xinference的环境了,这个流程会是漏洞百出的,很多困难,目前我展示我遇到的问题和解决方案:

首先同样地打开anaconda prompt

conda create -n xinference python=3.11.8

(记住这里最好能安装3.11.8版本的或者往上的,小于这个版本的个人而言会出现问题)

接着安装对应的环境包,按照一般流程的话,是直接这一步骤

pip install "xinference[all]"

即可,但是安装完首先会遇到下面的情况,第一种会提醒你No module ‘Cython’没有这个包,这个问题好解决,直接

pip install Cython -i https://pypi.tuna.tsinghua.edu.cn/simple/

其次接着还会再遇到

error: Microsoft Visual C++ 14.0 or greater is required. Get it with "Microsoft C++ Build Tools": Microsoft C++ Build Tools - Visual Studio

这个问题的解决就是去安装VisualStudio 2022 中的C++ building tool来解决的,首先去官网,默认安装好VisualStudio 2022软件,记得勾选c++;

解决完之后,会再遇到一个问题:

ERROR: Failed building wheel for pynini Failed to build pynini ERROR: Could not build wheels for pynini, which is required to install pyproject.toml-based projects

这是同样的一个包未能下载下来的问题,去pynini官网上搜了下在windows上面得通过wsl才行

因此也是在其他广大网友的帮助下,发现这个可以通过安装下面指令解决:

conda install -c conda-forge pynini=2.1.5

再接着还会遇到一个问题:

因为大语言部署的一个chatglm-cpp找不到,所以我们得进行手动安装。进入官网Releases · li-plus/chatglm.cpp · GitHub找到自己前面适配自己环境的文件,比如说我前面提到的,我的这个xinference的环境是3.11.8python版本,因此我需要找到cp311-cp311-win_amd64.whl,并且下载到你对应的虚拟环境下面进行安装。

然后在虚拟环境下敲入

 python.exe -m pip install chatglm_cpp-0.4.0-cp311-cp311-win_amd64.whl

安装成功好以后,基本就差不多了,最后一个这个环境下可能默认的torch版本是cpu的,有能力的(有钱装算力显卡的),下载下gpu版本的torch。

首先进入到虚拟环境下面的Lib/site-packages/路径下面,将这两个包删掉。

然后去到pytorch官网下面下载下对应的版本

直接将上面图片中的绿色选框部分敲进去就完成了。

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

至此,xinference的环境配套就下载完成了,我们直接通过xinference-local就可以启动xinference平台了。

xinference-local

到这里,langchain和xinference的环境就搭建好了,可以进行下一步骤的部署了。


如果你觉得这篇文章对你有帮助的话,麻烦点个来个关注点赞收藏三连下!!!

本文内容由网友自发贡献,转载请注明出处:https://www.wpsshop.cn/w/酷酷是懒虫/article/detail/1009572
推荐阅读
相关标签
  

闽ICP备14008679号