当前位置:   article > 正文

windows10下本地部署langChain-ChatGLM2-6B_langchain glm-6b windows 安装

langchain glm-6b windows 安装

最近在搞ChatGLM大语言模型,刚刚把langchain-ChatGLM2-6B在本地windows10跑起来,安装步骤如下:
设备配置:CPU E3-1240v3, RAM 32G, SSD 1T, GPU0 Nvidia 1080ti,GPU1 Nvidia T4
OS:Windows10专业版
安装步骤:
1.先安装Anaconda(https://www.anaconda.com/download/
2.点击“开始”-打开Anaconda Powershell Prompt
3.更新 Conda 至最新版本,
conda update conda

4.添加必要的 Conda 通道以获取更多软件包,
conda config --add channels conda-forge
conda config --add channels defaults

测试是否安装成功,
conda list
如果显示 Conda 及其内部包的列表,则说明安装成功。 

5. 创建虚拟环境
conda create -n langchain-chatglm python==3.10.9
conda activate langchain-chatglm
6. 部署 langchain-ChatGLM
md c:\ChatGLM
cd c:\ChatGLM
git clone https://github.com/imClumsyPanda/langchain-ChatGLM
cd langchain-ChatGLM
pip3 install -r requirements.txt
如果报错(一般都是传输超时),则重新运行几次

pip3 install -U gradio
pip3 install modelscope
pip3 install accelerate

7. 启动 langchain-ChatGLM2
python.exe ./webui.py --model-name chatglm2-6b

8. 访问 langchain-ChatGLM2
使用浏览器打开 http://localhost:7860/

遗留问题,默认webug.py没用gpu,纯cpu跑,速度非常慢。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/菜鸟追梦旅行/article/detail/365948
推荐阅读
相关标签
  

闽ICP备14008679号