赞
踩
1.python环境
python
版本推荐3.10 - 3.11
transformers
库版本推荐为4.36.2
torch
推荐使用 2.0 及以上的版本,以获得最佳的推理性能
2.硬件环境
查看显卡配置:nvidia-smi
运行 Int4 版本的 ChatGLM3-6B的最低配置:
内存:>= 8GB
显存:>= 5GB(1060 6GB,2060 6GB)
使用这种方法,下载模型需要先安装Git LFS
git lfs install
git clone https://huggingface.co/THUDM/chatglm3-6b
如果访问不到Hugging Face的官网则可以使用镜像网站:
THUDM/chatglm3-6b · HF Mirror (hf-mirror.com)
GitHub - THUDM/ChatGLM3: ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型
conda create -n chatglm3-demo python=3.11
conda activate chatglm3-demo
出现如下界面则成功:
pip install -r requirements.txt
进入composite_demo模块,运行如下代码:streamlit run main.py
- cd composite_demo #进入模块
- streamlit run main.py # 启动网页版界面
网页版界面:
进入basic_demo模块,在命令行运行cli_demo.py文件启动命令行模式的ChatGLM3-6B模型,输入如下命令启动:
- cd basic_demo # 进入模块
- python cli_demo.py # 运行py文件
命令行界面:
这样使用ubuntu在本地部署ChatGLM3-6B模型就部署好啦
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。