2024山软创新实训：软件系统架构

软件架构

本文着重介绍本应用：基于开源LLM的易学大模型软件系统的架构。在经过2个月的探索、选型、实验、开发后，我们团队终于把整个系统的各块拼图搭建了起来，现在剩下的是集成、评测、优化和部署的工作。

1. Distributed System

整个项目的逻辑架构是分布式的，总共分为3.5层：

1. 客户端应用：主要负责最外层web服务的图形化界面与用户接口
2. web服务端应用：负责基本的增删改查、信息维护。以及对LLM与向量知识库的集成和整合
3. LLM && RAG Kernel：这里涉及到最内核的部分，我们通过第三方框架（LangChain）落地实现了RAG技术，并且通过开源软件和一些具有强力算力的设备进行了开源通用LLM的微调：
   1. RAG落地实现：这个子模块负责初始化向量知识库，并对外（web服务端应用）提供各种接口，包括上传知识文件，检索知识文件，更新知识文件，获取知识文件列表等等。
   2. LLM微调与部署：我们利用第三方开源软件以及智谱AI提供的chatglm3-6B，进行大模型的微调，在此过程中，利用一些领域前沿技术，进行语料的生成与准备。

建议点击图片放大查看 

2. 各模块功能解析与实现细节

客户端应用

技术选型：Node.js + Vue3.js + 各类开源前端组件/样式/界面库 

Node.js (aliyun.com)

Vue.js - 渐进式 JavaScript 框架 | Vue.js

子模块组成：（客户端应用是我们最晚开始开发的一个子系统。目前尚在开发中，后续补充）

实现细节：

1. 项目实训5-27 前端框架搭建 JFM

web服务端应用

技术选型：

1. Web服务器：Uvicorn Uvicorn
2. Web服务+路由管理：FastAPI + Sharlette FastAPI
3. 数据校验：Pydantic Welcome to Pydantic - Pydantic
4. 数据库：
   1. 基于硬盘的嵌入式数据库：Sqlite + SQLAlchemy SQLite Home PageSQLAlchemy - The Database Toolkit for Python
   2. 基于内存的缓存数据库：Redis Redis - The Real-time Data Platform

实现细节：

1. 服务端接口开发：
   1. 创新实训2024.05.25日志：Web应用技术选型 LYH
   2. 创新实训2024.05.26日志：服务端接口实现——用户开启多个会话 LYH
   3. 创新设计记录（一）LJJ
   4. 创新设计记录（二）LJJ
   5. 创新设计记录 LDL
   6. 项目实训5-28 后端部署+依赖报错问题解决 JFM
2. 数据库部署落地：
   1. 创新实训2024.05.26日志：落地基于硬盘的数据库服务 LYH

LLM Kernel

技术选型：

1. 语料生成：智谱AI 智谱AI开放平台 (bigmodel.cn)
2. 微调实验：
   1. 软件是LLAMA Factory GitHub - hiyouga/LLaMA-Factory: Unify Efficient Fine-Tuning of 100+ LLMs
   2. 硬件不方便透露，是我们学院的机器 
3. 开源大模型：清华智谱AIchatglm3-6b chatglm3-6b

实现细节：

1. 语料生成：
   1. 创新实训2024.04.07日志：提取QA对 LYH
   2. 创新实训2024.04.11日志：self-instruct生成指令 LYH
   3. 项目实训2024.04.12日志：Self-QA生成问答对 LYH
   4. 项目实训4-18：过滤QA对，update prompt JFM
2. 微调实验：我们微调后的大模型还没合并集成部署起来，所以后面再写。
3. 能力增强/提示工程：
   1. 创新实训2024.05.28日志：记忆化机制、基于MTPE与CoT技术的混合LLM对话机制 LYH
4. 性能评测：
   1.  创新实训2024.05.29日志：评测数据集与baseline测试 LYH
   2.  创新实训-结果统计 LDL

RAG Kernel

技术选型

1. RAG工具包：Langchain + Langchain ChatChat LangChain Langchain-Chatchat
2. 向量知识库：Faiss Welcome to Faiss Documentation — Faiss documentation
3. 文本嵌入模型：BAAI bge-large-zh bge-large-zh

实现细节：

1. RAG工具包：
   1. 创新实训2024.04.24日志：RAG技术初探 LYH
2. 知识库建立部署：
   1. 创新实训2024.05.12日志：建立易学知识库 LYH
   2. 项目实训5-23 RAG重新配置 JFM