当前位置:   article > 正文

使用Ubuntu在本地部署ChatGLM3-6B的详细教程_ubtantu 部署chartglm

ubtantu 部署chartglm

一:环境配置

1.python环境

python 版本推荐3.10 - 3.11

transformers 库版本推荐为 4.36.2

torch 推荐使用 2.0 及以上的版本,以获得最佳的推理性能

2.硬件环境

查看显卡配置:nvidia-smi

运行 Int4 版本的 ChatGLM3-6B的最低配置:

内存:>= 8GB

显存:>= 5GB(1060 6GB,2060 6GB)

 

二:下载 ChatGLM3-6B模型

1. 从 Hugging Face 官网下载模型

使用这种方法,下载模型需要先安装Git LFS

git lfs install

git clone https://huggingface.co/THUDM/chatglm3-6b

 如果访问不到Hugging Face的官网则可以使用镜像网站:

THUDM/chatglm3-6b · HF Mirror (hf-mirror.com)

2.从GitHub官网下载运行模型所需要的文件:

GitHub - THUDM/ChatGLM3: ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型

三:运行ChatGLM3-6B模型

1.通过pycharm中命令行建立conda环境

conda create -n chatglm3-demo python=3.11

2.执行conda环境

conda activate chatglm3-demo

出现如下界面则成功:

3.下载模型所需要的依赖

pip install -r requirements.txt

4.本地运行模型:

1.加载本地模型文件,并量化

2.网页版界面启动

进入composite_demo模块,运行如下代码:streamlit run main.py

  1. cd composite_demo #进入模块
  2. streamlit run main.py # 启动网页版界面

网页版界面:

3.命令行模式启动

进入basic_demo模块,在命令行运行cli_demo.py文件启动命令行模式的ChatGLM3-6B模型,输入如下命令启动:

  1. cd basic_demo # 进入模块
  2. python cli_demo.py # 运行py文件

命令行界面:

这样使用ubuntu在本地部署ChatGLM3-6B模型就部署好啦

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/码创造者/article/detail/968001
推荐阅读
相关标签
  

闽ICP备14008679号