LAIC2022之犯罪事实实体识别（基于飞桨UIE+半监督）

零.写在最前

该项目源于2022 CCF BDCI 大赛之《“中国法研杯”司法人工智能挑战赛之犯罪事实实体识别》

• 赛题任务

犯罪事实实体识别是司法NLP应用中的一项核心基础任务，能为多种下游场景所复用，是案件特征提取、类案推荐等众多NLP任务的重要基础工具。本赛题要求选手使用模型抽取出犯罪事实中相关预定义实体。

与传统的实体抽取不同，犯罪事实中的实体具有领域性强、分布不均衡等特性。

• 解决思路

基于百度开放的通用信息抽取UIE框架进行训练定制+微调，快速实现关系抽取任务

再通过生成伪标签数据进行多次训练

快速命令行模型 数据预处理+训练+生成比赛结果：

# 1. 切换到工作目录 + 安装 paddlenlp
%cd work/
!pip install --upgrade paddlenlp
1
2
3

# 2. 一键生成 doccano格式数据
!python pre.py
1
2

# 3. 生成训练集和验证集
!python doccano.py \
    --doccano_file ./data/train_doccano.json \
    --task_type ext \
    --save_dir ./data \
    --splits 0.8 0.2 0
1
2
3
4
5
6

# 4. 训练微调
!python finetune.py \
    --train_path ./data/train.txt \
    --dev_path ./data/dev.txt \
    --save_dir ./checkpoint \
    --learning_rate 1e-5 \
    --batch_size 16 \
    --max_seq_len 512 \
    --num_epochs 30 \
    --model uie-base \
    --seed 1000 \
    --logging_steps 10 \
    --valid_steps 100 \
    --device gpu
1
2
3
4
5
6
7
8
9
10
11
12
13
14

# 5. 评价模型
!python evaluate.py \
    --model_path ./checkpoint/model_best \
    --test_path ./data/dev.txt \
    --batch_size 16 \
    --max_seq_len 512
1
2
3
4
5
6

# 6. 生成比赛结果文件
! python predict.py
1
2

# 7. 生成半监督 伪标签数据
! python ulabel2000.py
1
2

# 8. 加入伪标签数据生成训练集
!python pre2000.py

!python doccano.py \
    --doccano_file ./data/train_doccano.json \
    --task_type ext \
    --save_dir ./data \
    --splits 0.8 0.2 0
1
2
3
4
5
6
7
8

# 9. 训练微调,载入之前训练好的模型
!python finetune.py \
    --init_from_ckpt ./checkpoint/model_best \
    --train_path ./data/train.txt \
    --dev_path ./data/dev.txt \
    --save_dir ./checkpoint_2000 \
    --learning_rate 1e-5 \
    --batch_size 16 \
    --max_seq_len 512 \
    --num_epochs 5 \
    --model uie-base \
    --seed 1000 \
    --logging_steps 10 \
    --valid_steps 100 \
    --device gpu
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

# 10. 评价模型
!python evaluate.py \
    --model_path ./checkpoint_2000/model_best \
    --test_path ./data/dev.txt \
    --batch_size 16 \
    --max_seq_len 512
1
2
3
4
5
6

# 11. 生成比赛结果文件
! python predict2000.py
1
2

一.通用信息抽取统一框架UIE

UIE框架实现了实体抽取、关系抽取、事件抽取、情感分析等任务的统一建模，并使得不同任务间具备良好的迁移和泛化能力.

二.数据预处理

1. 生成 doccano 格式数据

相关标注格式细节请访问

# pre.py 

import paddle
import numpy as np
import pandas as pd
from config import Config
import json

labelsTpl = {
    '11339':'被告人交通工具',
    '11340':'被告人交通工具情况及行驶情况',
    '11341':'被告人违规情况',
    '11342':'行为地点',
    '11343':'搭载人姓名',
    '11344':'其他事件参与人',
    '11345':'参与人交通工具',
    '11346':'参与人交通工具情况及行驶情况',
    '11347':'参与人违规情况',
    '11348':'被告人责任认定',
    '11349':'参与人责任认定',
    '11350':'被告人行为总结'
}

class Pre(object):

    def __init__(self):
        self.cf = Config()
        self.recordsId = 1
        self.entitiesId = 1

    def run(self):
        trainTargetF = open(self.cf.dataFormalPath+'/train_doccano.json', 'w')
        trainSrcF = open(self.cf.dataPath+'/train.json')
            
        while True:
            line = trainSrcF.readline()
            if not line:
                break
            data = line.strip().split('\t')
            data = json.loads(data[0])
            text = data['context']
            entities = []
            for item in data['entities']:
                spans = item['span'][0].split(";")
                entity = {
                    'id':self.entitiesId,
                    'label':str(item['label']),
                    'start_offset':int(spans[0]),
                    'end_offset':int(spans[1])
                }

                entities.append(entity)
                self.entitiesId = self.entitiesId + 1

            re = {
                'id':self.recordsId,
                'text':text,
                'entities':entities,
                'relations':[]
            }

            self.recordsId = self.recordsId + 1
            print(re)
            trainTargetF.write(json.dumps(re, ensure_ascii=False))
            trainTargetF.write('\n')

pre = Pre()
pre.run()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68

#2.生成 doccano 格式数据
!python pre.py
1
2

2. 生成UIE数据数据集

# 3. 生成训练集和验证集
!python doccano.py \
    --doccano_file ./data/train_doccano.json \
    --task_type ext \
    --save_dir ./data \
    --splits 0.8 0.2 0
1
2
3
4
5
6

可配置参数说明：

doccano_file: 从doccano导出的数据标注文件。

save_dir: 训练数据的保存目录，默认存储在data目录下。

negative_ratio: 最大负例比例，该参数只对抽取类型任务有效，适当构造负例可提升模型效果。负例数量和实际的标签数量有关，最大负例数量 = negative_ratio * 正例数量。该参数只对训练集有效，默认为5。为了保证评估指标的准确性，验证集和测试集默认构造全负例。

splits: 划分数据集时训练集、验证集所占的比例。默认为[0.8, 0.1, 0.1]表示按照8:1:1的比例将数据划分为训练集、验证集和测试集。

task_type: 选择任务类型，可选有抽取和分类两种类型的任务。

options: 指定分类任务的类别标签，该参数只对分类类型任务有效。默认为[“正向”, “负向”]。

prompt_prefix: 声明分类任务的prompt前缀信息，该参数只对分类类型任务有效。默认为"情感倾向"。

is_shuffle: 是否对数据集进行随机打散，默认为True。

seed: 随机种子，默认为1000.

separator: 实体类别/评价维度与分类标签的分隔符，该参数只对实体/评价维度级分类任务有效。默认为"##"。

三.训练微调

# 4. 训练微调（单卡）
!python finetune.py \
    --train_path ./data/train.txt \
    --dev_path ./data/dev.txt \
    --save_dir ./checkpoint \
    --learning_rate 1e-5 \
    --batch_size 4 \
    --max_seq_len 512 \
    --num_epochs 30 \
    --model uie-base \
    --seed 1000 \
    --logging_steps 10 \
    --valid_steps 100 \
    --device gpu
1
2
3
4
5
6
7
8
9
10
11
12
13
14

可配置参数说明：

train_path: 训练集文件路径。

dev_path: 验证集文件路径。

save_dir: 模型存储路径，默认为./checkpoint。

learning_rate: 学习率，默认为1e-5。

batch_size: 批处理大小，请结合机器情况进行调整，默认为16。

max_seq_len: 文本最大切分长度，输入超过最大长度时会对输入文本进行自动切分，默认为512。

num_epochs: 训练轮数，默认为100。

model: 选择模型，程序会基于选择的模型进行模型微调，可选有uie-base, uie-medium, uie-mini, uie-micro和uie-nano，默认为uie-base。

seed: 随机种子，默认为1000.

logging_steps: 日志打印的间隔steps数，默认10。

valid_steps: evaluate的间隔steps数，默认100。

device: 选用什么设备进行训练，可选cpu或gpu。

四.评价模型

可配置参数说明：

model_path: 进行评估的模型文件夹路径，路径下需包含模型权重文件model_state.pdparams及配置文件model_config.json。
test_path: 进行评估的测试集文件。
batch_size: 批处理大小，请结合机器情况进行调整，默认为16。
max_seq_len: 文本最大切分长度，输入超过最大长度时会对输入文本进行自动切分，默认为512。
model: 选择所使用的模型，可选有uie-base, uie-medium, uie-mini, uie-micro和uie-nano，默认为uie-base。
debug: 是否开启debug模式对每个正例类别分别进行评估，该模式仅用于模型调试，默认关闭。

!python evaluate.py \
    --model_path ./checkpoint/model_best \
    --test_path ./data/dev.txt \
    --batch_size 16 \
    --max_seq_len 512
1
2
3
4
5

五.生成提交文件

命名实体识别（Named Entity Recognition，简称NER），是指识别文本中具有特定意义的实体。在开放域信息抽取中，抽取的类别没有限制，用户可以自己定义。

例如抽取的目标实体类型是"时间"、“选手"和"赛事名称”, schema构造如下：

['时间', '选手', '赛事名称']
1

生成的结果保存在 work/data/中

# -*- coding: utf-8 -*-
# -*- coding: utf-8 -*-
import paddle
from config import Config
import paddlenlp
import json
from paddlenlp import Taskflow
import re

labelsTpl = {
    '11339':'被告人交通工具',
    '11340':'被告人交通工具情况及行驶情况',
    '11341':'被告人违规情况',
    '11342':'行为地点',
    '11343':'搭载人姓名',
    '11344':'其他事件参与人',
    '11345':'参与人交通工具',
    '11346':'参与人交通工具情况及行驶情况',
    '11347':'参与人违规情况',
    '11348':'被告人责任认定',
    '11349':'参与人责任认定',
    '11350':'被告人行为总结'
}

class Predict(object):

    def __init__(self):
        cf = Config()
        self.cf = cf
        self.pointsPath = cf.pointsPath
        self.use_gpu = cf.use_gpu

    def run(self):
        #开启GPU
        paddle.set_device('gpu:0') if self.use_gpu else paddle.set_device('cpu')

        schema = []
        for k,v in labelsTpl.items():
            schema.append(str(k))

        ie = Taskflow("information_extraction", schema=schema, task_path=self.pointsPath+'/model_best',position_prob=0.5)
        
        # 写入结果文件
        testTarF = open(self.cf.dataFormalPath+'/result.txt', 'w')
        testSrcF = open(self.cf.dataPath+'/test.json')
            
        while True:
            line = testSrcF.readline()
            if not line:
                break
            data = line.strip().split('\t')
            data = json.loads(data[0])
            entities = []
            result = ie(data['context'])
            if len(result) < 1:
                continue
            for item in result:
                for key, value in item.items():
                    spans = []
                    texts = []
                    if len(value) > 1:
                        print(data['id'],value)

                    for value2 in value:
                        for fr in re.finditer(value2['text'],data['context']):
                            spans.append([fr.span()[0],fr.span()[1]])
                            texts.append(value2['text'])

                    entity = {
                        'label': str(key),
                        'span':spans,
                        'text':texts
                    }
                    entities.append(entity)

            res = {
                'context':data['context'],
                'id':data['id'],
                'entities':entities
            }

            #print(res)
            testTarF.write(json.dumps(res, ensure_ascii=False))
            testTarF.write('\n')

                   
predict = Predict()
predict.run()
        
        
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90

# 5. 生成比赛结果文件
! python predict.py
1
2

六.半监督生成伪数据

目前使用已标注好的数据进行有监督训练，得分在8.4左右。

可以通过变换模型，微调学习率，更改切分数据比例，修改预测阈值position_prob，进行调参以达到更高分数

比赛中还有未标注的数据，可以通过半监督训练提升成绩

将已有模型预测未标注数据，生成伪标注数据，继续加入到训练集生成训练

# 生成半监督 伪标签数据

! python ulabel2000.py
1
2
3

之后再通过pre2000.py 和 doccano 生成符合训练格式的数据集，以此反复训练

特别注意，当再次微调时需要载入初始模型

!python finetune.py \
    --init_from_ckpt ./checkpoint/model_best \
1
2

六.总结

基于UIE，通过定制数据微调，即可快速实现抽取任务。

优化方向可以通过选择不同的模型，微调learning_rate，batch_size等方式进行实验

在生成比赛结果中可以通过设置position_prob阀值来控制返回结果

ie = Taskflow(“information_extraction”, schema=schema, task_path=self.pointsPath+‘/model_best’,position_prob=0.8)

通过已有模型预测未标注数据，生成伪标注数据加入训练集训练

本项目中只用了未标注2000条。还有8000条未用。可以根据自身情况，调整每次加入的数据量，以此反复训练，以达最优效果

希望对大家有所帮助

此文章为搬运
原项目链接