为ChatGLM-6B模型的训练纪实：从数据集准备到LLamA-Factory的高效应用(一)_chatglm6b数据集制作

---

阶段成果展示

前言

在人工智能和自然语言处理领域，生成式预训练模型（如GPT-3和ChatGPT）已经展示了其强大的语言生成能力。随着技术的发展，开源社区也逐渐涌现出许多强大的模型和工具，其中ChatGLM-6B和LLamA-Factory便是两个值得关注的项目。本文将详细介绍如何为训练ChatGLM-6B模型寻找和创造训练集，以及利用LLamA-Factory对模型进行训练的具体步骤和方法。

我们的项目目标是完成一个能够对法律问题进行解答并给出比较规格的法律咨询建议、判决书等。项目地址

一、数据来源的选择

(一)、开源数据集

首先根据需求，我们的目标是强化默认ChatGLM-6B模型在法律咨询，处理案件的逻辑，和法院一样生成标准法律文书。基于以上的目标，我们寻找相似的主题的开源仓库。我们找到了和项目有类似功能的中文法律模型，和开源的法律相关内容数据集，包含通用领域数据、法律问答数据、法律法规和法律参考书籍、法律文书的数据，从而强化模型可以更好地理解自然语言和上下文信息的性能，在处理法律问题时能够提供准确、全面的法律咨询和支持。

1. 存在的问题

需要注意的是，开源数据集可能存在与自己的模型规定的数据集格式不相同、数据集质量参差不齐（如口语化过于严重，存在语病等问题），数据集的质量会直接关系到后续生成解答的质量。例如下面的条目提问的意义不明：

过于口语化：

2. 解决方案

基于此，我们需要对开源数据集进行针对性的清洗。数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。由此可以提高数据集的质量。与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。针对数据集的清洗可以参阅这篇文章。

改变数据集格式的问题，需要具体问题具体分析，设计相应的脚本。以这次数据集的收集过程中的工作举例。

ChatGLM-6B标准数据集格式中，每个条目包含以下字段：

• instruction: 提示的指令
• input: 输入内容（在示例中通常为空）
• output: 生成的回应

文件结构示例：

[
    {
        "instruction": "你好, 我叫chatglm3-6b",
        "input": "",
        "output": "嗨！很高兴见到您！我是山东大学软件学院CLD开发团队的LecumentGEN中文法律文书生成大模型，有什么可以帮到您的吗？"
    },
    ...
]
1
2
3
4
5
6
7
8

收集的开源数据集legal_advice.json格式

legal_advice.json中，每个条目是一个列表，包含多个对象，每个对象有以下字段：

• input: 输入内容（通常为空）
• instruction: 提示的指令
• output: 生成的回应

文件结构示例：

[
    [
        {
            "input": "",
            "instruction": "假冒他人专利进行买卖算不算诈骗",
            "output": "假冒他人专利进行买卖属于知识产权侵权行为，可能涉及到欺诈和诈骗行为..."
        }
    ],
    ...
]
1
2
3
4
5
6
7
8
9
10

差异分析

• ChatGLM-6B标准数据集格式使用了平面列表结构，直接包含对象。
• 开源数据集legal_advice.json则使用嵌套列表结构，每个条目都是一个包含对象的列表。

修改脚本

以下Python脚本将legal_advice.json转换为与ChatGLM-6B一致的标准格式：

import json

def convert_to_standard_format(input_file, output_file):
    with open(input_file, 'r', encoding='utf-8') as infile:
        data = json.load(infile)
    
    # Flatten the nested list structure
    flattened_data = [item for sublist in data for item in sublist]
    
    with open(output_file, 'w', encoding='utf-8') as outfile:
        json.dump(flattened_data, outfile, ensure_ascii=False, indent=4)

input_file = '/mnt/data/legal_advice.json'
output_file = '/mnt/data/legal_advice_standard.json'
convert_to_standard_format(input_file, output_file)
print(f"Converted file saved as {output_file}")
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

此脚本读取legal_advice.json文件，将嵌套列表展开为单个平面列表，并将结果保存到新的JSON文件legal_advice_standard.json中。

(二)、自定义数据集

自定义数据来源可以通过网络爬虫，用户生成内容等。

网络爬虫

用户生成内容

我们通过将JEC-QA中国法考数据集中的试题输入ChatGPT，让其生成对每个答案的解析从而构造自定义数据集。

法律咨询

我们从开放数据集中收集了一些咨询问题，输入ChatGPT，让ChatGPT扮演律师解答问题。将相关法条一同输入，可以提升ChatGPT生成的质量。

数据预处理（数据清洗，数据标注）、数据增强方法（数据扩展技术、数据平衡技术）将在后续实践中介绍。