面向专业人士的中文法律文书生成系统-大模型应用开发博客_中文法律模型

山东大学软件学院项目实训项目 持续更新中

基础模型：ChatGLM-6B  https://github.com/THUDM/ChatGLM-6B 

项目背景及介绍：

在通用领域，以OpenAI的GPT系列，国内的通义千问、智谱AI等为代表的一系列大模型已经具有较高的预测性能和符合自然语言规范的对话习惯，也已经做了较为成熟的模型推理服务化工作，形成了Web应用等供用户访问；故在这方面再进行创新具有较高难度和较低的可行性。

与此同时，我们注意到，在面向专业人士的中文法律文书生成领域，仍有较大的创新空间：通用大模型为保证其在不同领域的高性能，其生成内容（或预测结果、对话内容）往往不会严格符合中文法律文书的语言习惯；通用大模型数据更新具有一定滞后性（如GPT3.5数据截止至2021年，ChatGLM数据截止至2022年），面对涉及我国新修改法律条文（如2024《刑法修正案(十二)》）时会出现预测错误；通用大模型在其预训练（pre-training）和微调（fine-tuning）阶段会受到非法律数据集或其他语言法律数据集的训练，从而影响参数，干扰其在中文法律文书生成这一特化领域的性能等等。

我们项目的目标就是针对以上问题，开发出严格符合中文法律文书用语习惯、具有较好时效性的能为法律从业者带来良好交互体验的大模型Web应用。

工作内容与技术路线

1. 数据准备和预处理阶段：
   • 收集法律文书数据集，包括最新修改的法律条文、法院裁判文书、法规和案例等。可以利用开源法律数据集如DISC-Law-SFT-Pair和DISC-Law-SFT-Triplet。构建一个庞大而高质量的法律知识库，并进行损失和托管化存储。。
   • 对数据进行预处理和清洗，去除噪声和冗余信息，并进行标注和分类，以便后续的模型训练和应用。
2. 系统设计与开发阶段：
   • 使用ChatGLM-6B作为基础模型，搭建系统架构，包括前端界面、桌面服务和模型部署方案。
   • 整合LangChain框架，将LLM模型、支撑数据库、交易层提示等整合到一起。
   • 进行集成测试，确保各部分功能协调运行。
3. 模型参数与性能优化阶段：
   • 基于ChatGLM-6B模型进行精细化的提示设计，引导模型生成符合法律文书语言的内容。
   • 探索少样本学习和迁移学习等先进技术，提高模型在法律文书生成上的准确性和效率。
   • 使用DISC-Law-Eval Benchmark等开源代码对模型进行测量，并根据测试结果调整模型参数。
   • 可交付成果：智能化法律咨询系统
4. 用户交互体验优化阶段：
   • 提供高度定制的用户交互界面。
   • 可以考虑引入语音识别和语音合成技术，实现语音输入和输出，提升用户的使用便捷性。
5. 持续优化与迭代
   • 正式提交前将Demo版本提供内测环境，根据用户反馈和数据分析，及时发现和解决系统中存在的问题和不足，并进行相应的改进和优化。