智谱CogVLM & CogAgent 本地部署教程_cogvlm部署

一.项目介绍

请多结合官方文档阅读本文，如有问题可以在评论区@我

项目地址 GitHub - THUDM/CogVLM: a state-of-the-art-level open visual language model | 多模态预训练模型

中文readme：https://github.com/THUDM/CogVLM/blob/main/README_zh.md

智谱·AI 开源模型列表（使用手册补充）：Docs

硬件要求：

我的设备是ubuntu22.04

cuda12.1

显卡4090

二.项目部署

2.1 环境配置

创建并激活环境

conda create -n cogvlm python=3.11 -y
 
conda activate cogvlm

安装依赖项

pip install -r requirements.txt
 
python -m spacy download en_core_web_sm

2.2 手动下载模型

官方提供的下载代码很容易中断，需要自己手动下载模型/库

手动下载地址：  https://huggingface.co/THUDM 

                         手动拉到最底部能看到下载链接

自选对应模型：

下载tokenizer ：https://huggingface.co/lmsys/vicuna-7b-v1.5 vicuna-7b-v1.

2.3 懒人版下载模型（可跳过2.2，直接选这个）

注意：如果觉得官方提供的下载链接速度较慢，这里提供b站up主十字鱼的网盘下载链接，可以直接在此下载上述模型文件和代码：https://www.123pan.com/s/Pf5Yjv-YiAW3.html  提取码:glut   

需下载2类文件：

1.tokenizer文件(必选)：

2.model文件(二选一即可):

2.4 配置client.py路径

上述两个文件下载好后，放到根目录，然后修改配置路径：

cd到composite_demo 文件夹

修改composite_demo/client.py 中tokenizer和model的默认路径

指定到自己下载的tokenizer/model的路径

到次已全部配置完成，接下来请使用代码运行项目

conda activate cogvlm
 
cd composite_demo
 
streamlit run main.py

2.5 中文对话功能(可选)

官方默认的是英文对话，如果需要进行中文对话，请遵循以下教程修改

若要中文对话功能，需要去conversation.py 中的translate_baidu 修改url  后面加上自己的token

注意:该url使用的是百度智能云 文本翻译功能api 并非百度翻译的api!!

百度智能云地址：文本翻译_机器翻译-百度AI开放平台

注册账号 选择"机器翻译功能"    免费领取文本翻译功能    查看文档可获取api