赞
踩
最近在搞ChatGLM大语言模型,刚刚把langchain-ChatGLM2-6B在本地windows10跑起来,安装步骤如下:
设备配置:CPU E3-1240v3, RAM 32G, SSD 1T, GPU0 Nvidia 1080ti,GPU1 Nvidia T4
OS:Windows10专业版
安装步骤:
1.先安装Anaconda(https://www.anaconda.com/download/)
2.点击“开始”-打开Anaconda Powershell Prompt
3.更新 Conda 至最新版本,
conda update conda
4.添加必要的 Conda 通道以获取更多软件包,
conda config --add channels conda-forge
conda config --add channels defaults
测试是否安装成功,
conda list
如果显示 Conda 及其内部包的列表,则说明安装成功。
5. 创建虚拟环境
conda create -n langchain-chatglm python==3.10.9
conda activate langchain-chatglm
6. 部署 langchain-ChatGLM
md c:\ChatGLM
cd c:\ChatGLM
git clone https://github.com/imClumsyPanda/langchain-ChatGLM
cd langchain-ChatGLM
pip3 install -r requirements.txt
如果报错(一般都是传输超时),则重新运行几次
pip3 install -U gradio
pip3 install modelscope
pip3 install accelerate
7. 启动 langchain-ChatGLM2
python.exe ./webui.py --model-name chatglm2-6b
8. 访问 langchain-ChatGLM2
使用浏览器打开 http://localhost:7860/
遗留问题,默认webug.py没用gpu,纯cpu跑,速度非常慢。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。