『2021语言与智能技术竞赛』- 关系抽取任务 官方baseline bert4keras实现

『2021语言与智能技术竞赛』- 关系抽取任务 官方的baseline是将关系抽取任务转换成序列标注任务，使用Paddle实现。

本文将提供bert4keras的实现

本文的代码地址 https://github.com/hgliyuhao/LIC2021_EE_baseline

可以参考的其他baseline

关系抽取官方baseline：https://aistudio.baidu.com/aistudio/projectdetail/1639963

苏神关系抽取baseline：https://kexue.fm/archives/7321

任务描述

信息抽取旨在从非结构化自然语言文本中提取结构化知识，如实体、关系、事件等。事件抽取的目标是对于给定的自然语言句子，根据预先指定的事件类型和论元角色，识别句子中所有目标事件类型的事件，并根据相应的论元角色集合抽取事件所对应的论元。其中目标事件类型 (event_type) 和论元角色 (role) 限定了抽取的范围，例如 (event_type：胜负，role：时间，胜者，败者，赛事名称)、(event_type：夺冠，role：夺冠事件，夺冠赛事，冠军)。

算法原理

针对 DuIE2.0 任务中多条、交叠SPO这一抽取目标，比赛对标准的 'BIO' 标注进行了扩展。 对于每个 token，根据其在实体span中的位置（包括B、I、O三种），我们为其打上三类标签，并且根据其所参与构建的predicate种类，将 B 标签进一步区分。给定 schema 集合，对于 N 种不同 predicate，以及头实体/尾实体两种情况，我们设计对应的共 2N 种 B 标签，再合并 I 和 O 标签，故每个 token 一共有 (2N+2) 个标签，如下图所示。

模型细节

这个模型是将关系抽取任务转化为序列标注任务。

使用bert的序列输出，然后对token-level进行多label分类，因为要解决实体重叠的问题，使用Sigmoid代替SoftMax。为了使模型更准确的分类 需要训练表较多的epoch 使loss足够的小

output = Dense(units=num_labels,
               activation='sigmoid',
               kernel_initializer=model.initializer)(model.output)
model = Model(model.input, output)
model.summary()
 
model.compile(
    loss='binary_crossentropy',
    optimizer=Adam(1e-5),
    metrics=['accuracy']
)

解码方法

    token_ids = tokenizer.tokens_to_ids(tokens)
    segment_ids = [0] * len(token_ids)
    labels = model.predict([[token_ids], [segment_ids]])[0]
    labels = labels[1:]
    for lable in labels:
        for i in range(len(lable)):
            if lable[i] >= 0.5:
                lable[i] = 1
            else:
                lable[i] = 0 
 
 

将需要抽取的本文转换成token_id, segment_id,喂入模型，labels = labels[1:]的目的是为了去除cls标签，即保留原始文本对应的标签概率。对应概率大于0.5，我们定义为正标签。

先遍历文本找到可能存在的实体，再根据schema找到合理的实体对

模型效果

{"text": "柴胜三郎（日语：しば かつさぶろう、1864年1月26日（文久3年12月18日） - 1938年1月19日）为日本陆军军人", "spo_list": [{"predicate": "国籍", "subject": "柴胜三郎", "subject_type": "人物", "object": {"@value": "日本"}, "object_type": {"@value": "国家"}}]}
{"text": "《早安，卧底小姐》 作者:关就脱线女警方亮亮在酒吧作炮灰卧底时偶遇优质男康子弦好吧，不得不说，康子弦一定是大脑短路才会被方亮亮吸引当24岁的方亮亮一身暧昧的小粉红重新成为高中生的时候又是什么吸引了气质绝雅的江离", "spo_list": [{"predicate": "主角", "subject": "早安，卧底小姐", "subject_type": "文学作品", "object": {"@value": "方亮亮"}, "object_type": {"@value": "人物"}}, {"predicate": "主角", "subject": "早安，卧底小姐", "subject_type": "文学作品", "object": {"@value": "康子弦"}, "object_type": {"@value": "人物"}}, {"predicate": "作者", "subject": "早安，卧底小姐", "subject_type": "图书作品", "object": {"@value": "关就脱线女"}, "object_type": {"@value": "人物"}}]}
{"text": "2010《志明与春娇》从第一部到第三部，杨千嬅在这部系列电影中的紫色短发形象已深入人心", "spo_list": [{"predicate": "主演", "subject": "志明与春娇", "subject_type": "影视作品", "object": {"@value": "杨千嬅"}, "object_type": {"@value": "人物"}}]}
{"text": "《道连·格雷的画像》是十九世纪爱尔兰作家奥斯卡·王尔德唯一的长篇小说", "spo_list": [{"predicate": "作者", "subject": "道连·格雷的画像", "subject_type": "图书作品", "object": {"@value": "奥斯卡·王尔德"}, "object_type": {"@value": "人物"}}]}
{"text": "2013年10月，单竞缇与陈一冰于英国相识", "spo_list": [{"predicate": "丈夫", "subject": "单竞缇", "subject_type": "人物", "object": {"@value": "陈一冰"}, "object_type": {"@value": "人物"}}, {"predicate": "妻子", "subject": "陈一冰", "subject_type": "人物", "object": {"@value": "单竞缇"}, "object_type": {"@value": "人物"}}]}

这里展示五条文本关系抽取效果

在官方测试集F1可以达到71.89

TODO

模型的优缺点