本地部署 闻达：一个LLM调用平台 VIP版_闻达 github

闻达：一个LLM调用平台。目标为针对特定环境的高效内容生成，同时考虑个人和中小企业的计算资源局限性，以及知识安全和私密性问题

1. 什么是 闻达

本项目设计目标为实现针对特定环境的高效内容生成，同时考虑个人和中小企业的计算资源局限性，以及知识安全和私密性问题。为达目标，平台化集成了以下能力：

1. 知识库：支持对接本地离线向量库、本地搜索引擎、在线搜索引擎等。
2. 多种大语言模型：目前支持离线部署模型有chatGLM-6B、chatRWKV、llama系列(不推荐中文用户)、moss(不推荐)、baichuan(不推荐)、Aquila-7B，在线API访问openai api和chatGLM-130b api。
3. Auto脚本：通过开发插件形式的JavaScript脚本，为平台附件功能，实现包括但不限于自定义对话流程、访问外部API、在线切换LoRA模型。
4. 其他实用化所需能力：对话历史管理、内网部署、多用户同时使用等。

2. 闻达 Github 地址

https://github.com/wenda-LLM/wenda.git

3. 安装 Miniconda3

下载 Conda 安装脚本，

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
1

运行安装脚本，

bash Miniconda3-latest-Linux-x86_64.sh
1

按提示操作。当提示是否初始化 Conda 时,输入 “yes”，

安装完成后，关闭当前终端并打开新终端，这将激活 Conda，

sudo su - root
1

更新 Conda 至最新版本，

conda update conda
1

4. 创建虚拟环境

conda create -n wenda python==3.10.6
conda activate wenda
1
2

5. 部署 闻达

克隆代码，

git clone https://github.com/wenda-LLM/wenda.git; cd wenda
1

创建存放模型的目录，

mkdir model
1

创建 txt 的目录，

mkdir txt
1

创建配置文件，

cp example.config.yml config.yml
1

安装库，

pip install -r requirements/requirements.txt
1

验证 cuda 是否可用，

python -c "import torch; print(torch.cuda.is_available());"

--- 输出 True 表示 cuda 可用
True
---
1
2
3
4
5

下载 m3e-base 模型，

git lfs install
cd model/
git clone https://huggingface.co/moka-ai/m3e-base
cd ..
1
2
3
4

6. 部署 RWKV-4-Raven-14B 模型

访问 https://huggingface.co/BlinkDL/rwkv-4-raven/tree/main，下载最新版 RWKV-4-Raven-14B 模型，

将下载后的模型拷贝/移动到 model 目录，

ls model

--- 输出中有 RWKV-4-Raven-14B 模型文件
RWKV-4-Raven-14B-v12-Eng98%-Other2%-20230523-ctx8192.pth
---
1
2
3
4
5

修改配置文件中 RWKV-4-Raven-14B 模型的 path，

vi config.yml
1

--- 将各个 model 的 path 修改正确
llm_models:
  rwkv:
     path: "model/RWKV-4-Raven-14B-v12-Eng98%-Other2%-20230523-ctx8192.pth"      #rwkv模型位置"
---
1
2
3
4
5

启动 RWKV，

./run_rwkv.sh
1

使用浏览器打开 http://127.0.0.1:17860/ 进行访问，问它几个问题，大家可以通过截图体验一下它的回答水平怎么样。

7. 部署 AquilaChat-7B 模型

创建 run_aquila.sh 启动脚本文件，

cat << "EOF" > run_aquila.sh
#!/bin/bash
PYTHON=""
# python程序位置，可搭配一键包或是省去每次切换环境

while true
do
    if [ -z "$PYTHON" ]; then
        python wenda.py -t aquila
    else
        $PYTHON wenda.py -t aquila
    fi
sleep 1
done
EOF
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

chmod +x run_aquila.sh
1

启动 AquilaChat，

./run_aquila.sh
1

使用浏览器打开 http://127.0.0.1:17860/ 进行访问，问它几个问题，大家可以通过截图体验一下它的回答水平怎么样。

8. 部署 baichuan-7B 模型

下载 baichuan-7B 模型，

git lfs install
cd model/
git clone https://huggingface.co/baichuan-inc/baichuan-7B
cd ..
1
2
3
4

创建 run_baichuan.sh 启动脚本文件，

cat << "EOF" > run_baichuan.sh
#!/bin/bash
PYTHON=""
# python程序位置，可搭配一键包或是省去每次切换环境

while true
do
    if [ -z "$PYTHON" ]; then
        python wenda.py -t baichuan
    else
        $PYTHON wenda.py -t baichuan
    fi
sleep 1
done
EOF
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

chmod +x run_baichuan.sh
1

启动 baichuan，

./run_baichuan.sh
1

使用浏览器打开 http://127.0.0.1:17860/ 进行访问，问它几个问题，大家可以通过截图体验一下它的回答水平怎么样。

9. 部署 baichuan-7B-chat 模型

下载 baichuan-7B-chat 模型，

git lfs install
cd model/
git clone https://huggingface.co/csdc-atl/baichuan-7B-cha
1
2