Qanything在Windows环境部署流程_qanything windows

Qanything在Windows环境部署流程

部署环境：

系统版本：Windows 10 专业版
版本号：22H2
GPU： RTX3090

准备工作

1. 系统版本，内部版本要大于19045

2. 开启虚拟化功能
   注：windows 虚拟机监控程序平台不开启的话可能导致后面docker desktop启动不起来
   选择 适用于linux的windows子系统
   

3. 在CMD/POWERSHELL中敲击命令wsl --version，查看WSL版本，如果版本为1.0则执行update命令，然后切换至2的版本

4. 安装Ubuntu-22.04 发行版本
   cmd/shell中输入 wsl -l -o 可以看到所有的支持的有效分发的列表
   
   安装ubuntu 22.04 版本，直接用命令 wsl --install -d ubuntu-22.04
   如果网络顺畅，很快就会自动安装好。如果碰到报错：WslRegisterDistribution failed with error: 0x800701bc 。网上查到的解决方法就是运行wsl --update 升级下子系统。
   

安装docker desktop

版本需>= 4.26.1（131620）

1. 下载地址：https://docs.docker.com/desktop/install/windows-install/
2. 双击下载文件默认安装
3. 打开docker desktop 更改镜像源为国内地址
   

{
"registry-mirrors": [
    "https://1nj0zren.mirror.aliyuncs.com",
    "https://docker.mirrors.ustc.edu.cn",
    "http://f1361db2.m.daocloud.io",
    "https://registry.docker-cn.com"
  ],
  "builder": {
    "gc": {
      "defaultKeepStorage": "20GB",
      "enabled": true
    }
  },
  "experimental": false
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

设置docker，wsl，关联上自己本地的wsl系统

拉取代码及下载模型

#下载qanything的基础代码
git clone https://github.com/netease-youdao/QAnything.git

#下载基础LLM，文件较大，提前下载好之后，解压放到qanything代码的根目录里，文件夹为models
git clone https://www.modelscope.cn/netease-youdao/QAnything.git

#千问模型可以不用下载，系统会自动拉取
1
2
3
4
5
6
7

魔塔社区可下载Qwen模型文件
https://modelscope.cn/models/netease-youdao/QAnything/files
https://modelscope.cn/models/netease-youdao/Qwen-7B-QAnything/files

迁移docker-desktop-data，防止C盘文件过大

wsl --shutdown

wsl --export docker-desktop-data E:\docker-desktop\docker-desktop-data.tar

wsl --unregister docker-desktop-data

wsl --import docker-desktop-data E:\docker-desktop\data E:\docker-desktop\docker-desktop-data.tar --version 2
1
2
3
4
5
6
7

执行启动命令

更改shell脚本的回车（在windows下创建编辑的shell脚本是dos格式的，而linux却是只能执行格式为uni格式的脚本），否则执行时会报错，将回车符替换为空字符串

sed -i "s/\r//" scripts/run_for_local_option.sh
sed -i "s/^M//" scripts/run_for_local_option.sh
sed -i "s/\r//" scripts/run_for_cloud_option.sh
sed -i "s/^M//" scripts/run_for_cloud_option.sh
sed -i "s/\r//" run.sh
sed -i "s/^M//" run.sh
sed -i "s/\r//" close.sh
sed -i "s/^M//" close.sh
1
2
3
4
5
6
7
8

执行启动命令

bash ./run.sh -c local -i 0 -b hf -m Qwen-7B-QAnything -t qwen-7b-qanything
1

测试

安装成功后，您可以在浏览器中输入以下地址进行体验：

• 前端地址: http://{your_host}:5052/qanything

• API地址: http://{your_host}:5052/api/

DEBUG日志

如果想要查看相关日志，请查看QAnything/logs/debug_logs目录下的日志文件。

debug.log
用户请求处理日志
sanic_api.log
后端服务运行日志
llm_embed_rerank_tritonserver.log（单卡部署）
LLM embedding和rerank tritonserver服务启动日志
llm_tritonserver.log（多卡部署）
LLM tritonserver服务启动日志
embed_rerank_tritonserver.log（多卡部署或使用openai接口）
embedding和rerank tritonserver服务启动日志
rerank_server.log
rerank服务运行日志
ocr_server.log
OCR服务运行日志
npm_server.log
前端服务运行日志
llm_server_entrypoint.log
LLM中转服务运行日志
fastchat_logs/*.log
FastChat服务运行日志

常见问题

mysql容器问题

运行过程中有遇到报错，按提示查看日志后，日志中说是mysql连接数过多，通常情况下就是去修改配置文件了，找到容器挂载的配置文件，进行修改增加连接数等等。但是在进入mysql容器中，查看实际的连接数的时候，却有一行提示，写着是mysql: [Warning] World-writable config file ‘/etc/mysql/conf.d/mysql.cnf‘ is ignored。所以实际上并不是这个问题，而是电脑中挂载的配置文件具有全局可写权限，因此忽略了该文件。MySQL 引擎非常注重安全性和数据完整性。如果配置文件具有全局可写权限，任何用户都可以修改该文件，包括恶意用户。这可能导致潜在的安全风险和数据损坏。为了提高安全性，当 MySQL 检测到挂载的配置文件具有全局可写权限时，它会发出警告并忽略该文件。这样做是为了确保只有授权的用户能够修改配置文件并对 MySQL 进行更改。

所以这个问题的解决方案是修改文件的权限，直接在电脑中修改即可