- 1问答系统
- 2Android ViewBinding 封装使用_viewbinding封装
- 3本地安装Llama3.1与LobeChat可视化UI界面并实现远程访问大模型实战_安装llama3.1-8b
- 4安装cuda支持的opencv-python Windows版本（包含常见错误处理）
- 5AI 绘画大模型群雄并起，新秀 FLUX.1 来袭，最会画手的 AI 绘画大模型来啦！_flux大模型
- 6使用 Python 制作一个属于自己的 AI 搜索引擎_google serper 代码
- 7RabbitMQ练习（Hello World）_docker version 27.1.2, build d01f264
- 8初步认识linux系统_lgnu
- 9腾讯云 AI 代码助手攻略_idea中如何使用腾讯aicode助手
- 10跨时钟域问题
通过容器启动QAnything知识库问答系统_minichat-2-3b
赞
踩
QAnything (Question and Answer based on Anything) 是致力于支持任意格式文件或数据库的本地知识库问答系统，可断网安装使用。目前已支持格式：PDF(pdf)，Word(docx)，PPT(pptx)，XLS(xlsx)，Markdown(md)，电子邮件(eml)，TXT(txt)，图片(jpg，jpeg，png)，CSV(csv)，网页链接(html)等格式。
一.后端启动
1.run.sh命令启动
因为显卡配置原因，没有使用Qwen-7B-QAnything模型，而使用了MiniChat-2-3B模型，启动命令bash ./run.sh -c local -i 0 -b hf -m MiniChat-2-3B -t minichat。其中参数物理意义如下所示：
| 参数 | 解释 |
|---|---|
-c | 用于指定 llm API 模式的选项，可以选择 local 或 cloud。默认是 local。如果设置为 -c cloud，则需要先手动将环境变量 {OPENAI_API_KEY, OPENAI_API_BASE, OPENAI_API_MODEL_NAME, OPENAI_API_CONTEXT_LENGTH} 设置到 .env 文件中。 |
-i | 用于指定 GPU 设备 ID。 |
-b | 用于指定 LLM 推理运行时后端，选项包括 default、hf 和 vllm。 |
-m | 用于指定使用 FastChat serve API 加载 LLM 模型的路径，选项包括 Qwen-7B-Chat、deepseek-llm-7b-chat 等。 |
-t | 用于指定使用 FastChat serve API 时，根据 LLM 模型的对话模板，选项包括 qwen-7b-chat、deepseek-chat 等。 |
更加完整的QAnything服务启动命令使用，如下所示：
为了使用更多LLM，需要在/path/to/QAnything/third_party/FastChat/fastchat/conversation.py中配置conv_template。支持使用 FastChat API 与 Huggingface Transformers/vllm 运行时后端的公共大型语言模型（LLM），如下所示：
2.启动成功日志
如果想要查看相关日志，请查看QAnything/logs/目录下的日志文件，如下所示：
| 序号 | 日志文件 | 解释 |
|---|---|---|
| 1 | debug.log | 用户请求处理日志 |
| 2 | sanic_api.log | 后端服务运行日志 |
| 3 | llm_embed_rerank_tritonserver.log（单卡部署） | LLM embedding和rerank tritonserver服务启动日志 |
| 4 | llm_tritonserver.log（多卡部署） | LLM tritonserver服务启动日志 |
| 5 | embed_rerank_tritonserver.log（多卡部署或使用openai接口） | embedding和rerank tritonserver服务启动日志 |
| 6 | rerank_server.log | rerank服务运行日志 |
| 7 | ocr_server.log | OCR服务运行日志 |
| 8 | npm_server.log | 前端服务运行日志 |
| 9 | llm_server_entrypoint.log | LLM中转服务运行日志 |
| 10 | fastchat_logs/*.log | FastChat服务运行日志 |
| 11 | qa_logs/qa.log | 问答服务运行日志 |
3.启动成功容器
| 容器名称 | 解释 |
|---|---|
| qanything-container-local | 这是一个运行 qanything 应用的容器。qanything 是一个基于深度学习的对话系统，可以处理各种对话任务。在这个容器中，qanything 应用会根据环境变量的设置，选择本地或云端的模型进行运行。 |
| milvus-standalone-local | 这是一个运行 milvus 的容器。milvus 是一个开源的向量数据库，用于处理大规模的向量检索和相似性搜索。在这个容器中，milvus 以单机模式运行。 |
| milvus-minio-local | 这是一个运行 minio 的容器。minio 是一个高性能的开源对象存储服务器，用于存储非结构化的数据，如图片、视频、日志文件等。在这个容器中，minio 用于存储 milvus 的数据。 |
| mysql-container-local | 这是一个运行 mysql 的容器。mysql 是一个关系型数据库管理系统，用于存储结构化的数据。在这个容器中，mysql 用于存储应用的数据。 |
| milvus-etcd-local | 这是一个运行 etcd 的容器。etcd 是一个开源的分布式键值存储系统，用于共享配置和服务发现。在这个容器中，etcd 用于存储 milvus 的配置信息。 |
二.前端启动
1.npm命令启动
前端启动命令分别为npm install和npm run dev，如下所示：
2.启动成功界面
3.新建知识库
新建知识库后，上传文件，就可以和知识库进行对话了，如下所示：
三.部署问题
1.CUDA驱动版本更新
在部署QAnything过程中遇到的最大问题是NVIDIA Driver问题，但是没在意这个问题，后面部署失败，升级后基本就成功了。
ERROR: This container was built for NVIDIA Driver Release 530.30 or later, but version 522.06 was detected and compatibility mode is UNAVAILABLE.
- 1
2.通过GeForce Experience升级驱动
通过GeForce Experience升级驱动为最新版本，如下所示：
说明：驱动升级完毕后，重启电脑，然后重新运行run.sh命令。
参考文献
[1] QAnything GitHub：https://github.com/netease-youdao/QAnything
[2] QAnything HuggingFace：https://huggingface.co/netease-youdao/QAnything
[3] Ant Design Vue：https://www.antdv.com/components/overview-cn/
[4] Node.js下载地址：https://nodejs.org/dist/v18.16.0/
[5]前端开发文档：https://github.com/ai408/QAnything/blob/master/front_end/README.md
[6] QAnything接口文档：https://github.com/netease-youdao/QAnything/blob/master/docs/API.md
[7] QAnything中文介绍：https://github.com/netease-youdao/QAnything/blob/master/README_zh.md
[8] 有道智云AI开放平台：https://ai.youdao.com/DOCSIRMA/html/aigc/api/qanything/index.html
