赞
踩
ZhipuAI/chatglm3-6b 模型文件地址 chatglm3-6B-32k-int4 量化的模型地址
cpolar http xxx
端口
/anaconda3/envs/chatglm2/lib/python3.8/site-packages/gradio$
networking.py
最低要求:
为了能够流畅运行 Int4 版本的 ChatGLM3-6B,最低的配置要求:
内存:>= 8GB
显存: >= 5GB(1060 6GB,2060 6GB)
为了能够流畅运行 FP16 版本的,ChatGLM3-6B,最低的配置要求:
内存:>= 16GB
显存: >= 13GB(4080 16GB)
Mac开发者无需关注GPU的限制。对于搭载了 Apple Silicon 或者 AMD GPU 的 Mac,可以使用 MPS 后端来在 GPU 上运行 ChatGLM3-6B。需要参考 Apple 的 官方说明 安装 PyTorch-Nightly(正确的版本号应该是2.x.x.dev2023xxxx,而不是 2.x.x)。
如果使用CPU加载,可以忽略显存的要求,但是速度非常慢
请开发者按照仓库中的requirements.txt来安装对应的依赖,并需要注意:
python
版本推荐3.10 - 3.11
transformers
库版本推荐为 4.36.2
torch
推荐使用 2.0 及以上的版本,以获得最佳的推理性能
2、配置环境
建议最好自己新建一个conda环境
conda create -n chatglm3 python==3.10
conda activate chatglm3
conda activate chatglm31
pip install -r requirements.txt -i https://pypi.mirrors.ustc.edu.cn/simple
pip install gradio==3.40.0 -i https://pypi.mirrors.ustc.edu.cn/simple
+++++++++++++++++++
修改requirements.txt
- # basic requirements
-
- transformers>=4.41.0
- cpm_kernels>=1.0.11
- torch>=2.3.0
- #vllm>=0.4.2
- gradio==3.40.0
- sentencepiece>=0.2.0
- sentence_transformers>=2.7.0
- accelerate>=0.29.2
- streamlit>=1.33.0
- fastapi>=0.110.0
- loguru~=0.7.2
- mdtex2html>=1.3.0
- latex2mathml>=3.77.0
- jupyter_client>=8.6.1
-
- # for openai demo
- openai>=1.30.1
- pydantic
- sse-starlette>=2.1.0
- uvicorn>=0.29.0
- timm>=0.9.16
- tiktoken>=0.6.0
-
- # for langchain demo
-
- langchain>=0.2.0
- langchain_community>=0.2.0
- langchainhub>=0.1.15
- arxiv>=2.1.0
pip install vllm==0.2.0 -i https://pypi.mirrors.ustc.edu.cn/simple
pip install peft
打开pycharm运行
web_demo.py
或
python basic_demo/web_demo_gradio.py
python web_demo.py
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
模型基础运行代码已经上传到 github 和 SwanHub 两个平台,两个平台的信息同步。开发者通过以下方式下载模型代码。
从 github 下载源码
git clone https://github.com/THUDM/ChatGLM3.git
从 SwanHub 下载源码
git clone https://swanhub.co/ZhipuAI/ChatGLM3.git
通过以下方式下载模型文件
下载模型文件前请先确保`git lfs`命令已安装,安装教程请参考这里。
模型文件已上传至 Huggingface, Modelsope , SwanHub 三个平台,用户可以快速安装模型。
若使用 Huggingface 下载模型
- git lfs install
- git clone https://huggingface.co/THUDM/chatglm3-6b.git
若使用 Modelscope 下载模型
- git lfs install
- git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git
若使用 SwanHub 下载模型
- git lfs install
- git clone https://swanhub.co/ZhipuAI/chatglm3-6b.git
使用 pip 安装依赖:
- cd ChatGLM3
- pip install -r requirements.txt
使用本地模型加载并使用命令行来问答
python basic_demo/cli_demo.py
使用本地模型加载并使用web_demo来问答
python basic_demo/web_demo_gradio.py
通过以下命令启动基于 Gradio 的网页版 demo
python basic_demo/web_demo_streamlit.py
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。