FastChat模型 - 号称媲美ChatGPT的90%能力-安装及部署

FastChat模型安装

• 本文安装及调试设备是 MBP M1芯片，其他平台可稍作调整基本步骤类似

• 省去了基本描述，基本都是命令行

前置条件

卸载Homebrew

/bin/bash -c “$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/uninstall.sh)”

安装Homebrew

/bin/bash -c “$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)”

设置到系统目录

export HOMEBREW_PREFIX=“/opt/homebrew”
export PATH=“$HOMEBRE{W}_{P}REFIX/bin:$PATH”
source ~/.bashrc

安装python 3.9

brew install python@3.9
export PATH=“/opt/homebrew/opt/python@3.9/bin:$PATH”
source ~/.bashrc

建立软连接 py39

ln -s /opt/homebrew/bin/python3.9 /usr/local/bin/py39

建立pip软连接 pip39

ln -s /opt/homebrew/bin/pip3.9 /usr/local/bin/pip39

安装pytorch – 很重要

pip39 install torch torchvision

安装 transformers

pip39 install git+https://github.com/huggingface/transformers

protobuf 库要降版本到 3.20.0

pip39 install protobuf==3.20.0

模型库下载

** 百度PaddlePaddle（只找到个7B的模型） https://aistudio.baidu.com/aistudio/datasetdetail/203425/0

** 种子链接（包含7B/13B/30B/65B的模型） magnet:?xt=urn:btih:cdee3052d85c697b84f4c1192f43a2276c0daea0&dn=LLaMA

开始安装

转格式

py39 -m transformers.models.llama.convert_llama_weights_to_hf --input_dir /Users/jacky.yi/GPTLearning/FastChat/data/LLaMA --model_size 7B --output_dir /Users/jacky.yi/GPTLearning/FastChat/data/out/w7b

生成Vicuna格式的模型

py39 -m fastchat.model.apply_delta --base /Users/jacky.yi/GPTLearning/FastChat/data/out/w7b --target /Users/jacky.yi/GPTLearning/FastChat/mresult/w7b --delta lmsys/vicuna-7b-delta-v1.1

跑模型 命令行版本

py39 -m fastchat.serve.cli --model-path /Users/jacky.yi/GPTLearning/FastChat/mresult/w7b --device mps

验证使用

创建虚拟环境

pip install virtualenv
virtualenv fastchat

source fastchat/bin/activate

跑controller

py39 -m fastchat.serve.controller

worker模式

py39 -m fastchat.serve.model_worker --model-path /Users/jacky.yi/GPTLearning/FastChat/mresult/w7b --device mps

测试网页版

py39 -m fastchat.serve.test_message --model-name w7b

启动网页版

py39 -m fastchat.serve.gradio_web_server