赞
踩
NLP之ERNIE:ERNIE的简介、安装和使用方法、案例应用之详细攻略
目录
《ERNIE: Enhanced Representation through Knowledge Integration》翻译与解读
2022.8.18,图文跨模态预训练模型ERNIE-ViL 2.0 (base) 正式开源
2022.5.20,最新开源ERNIE 3.0系列预训练模型:
2021.12.3,多语言预训练模型ERNIE-M 正式开源
2020.9.24,ERNIE-ViL 技术发布! (点击进入)
2020.5.20,ERNIE-GEN 模型正式开源! (点击进入)
地址 | |
时间 | 2019年4月19日 |
作者 | Yu Sun, Shuohuan Wang, Yukun Li, Shikun Feng, Xuyi Chen, Han Zhang, Xin Tian, Danxiang Zhu, Hao Tian, Hua Wu Baidu |
总结 | 此论文提出了一种新的语言表示模型ERNIE(通过知识增强的语言表示),主要解决传统语言模型忽略语句中的先验知识信息的问题。 背景痛点: >> 传统语言模型如BERT等主要通过预测遮蔽词得到语义信息,但忽略了语句中的实体和短语等先验知识。 >> 无法利用实体和关系等外部知识来指导词向量学习,难以获得坚实的语义语言表示。 具体解决方案: >> ERNIE采用知识遮蔽策略,不仅实现词级遮蔽,还实施短语级和实体级的遮蔽策略。 >> 短语和实体作为一个整体进行遮蔽和预测,强化模型学习短语和实体内隐含的语法和语义信息。 >> 避免直接添加知识嵌入,而是通过多阶段遮蔽任务隐式学习知识,有更好的泛化能力。 核心特点: >> 充分利用语句里面实体和关系等外部知识 >> 隐式学习知识而不是直接使用知识向量 >> 语义表示能力更强,知识推理能力更好 优势: >> 在5个典型中文自然语言处理任务上均突破状态端,取得新的最优结果 >> 闭环测试表明知识推理能力更强 >> 代码和预训练模型公开提供 综上,ERNIE通过知识遮蔽策略有效地将语句知识集成到语言模型训练中,解决了传统模型忽略知识信息的问题,显著提升了语言表示质量和模型效果。 |
We present a novel language representation model enhanced by knowledge called ERNIE (Enhanced Representation through kNowl-edge IntEgration). Inspired by the mask-ing strategy of BERT (Devlin et al., 2018), ERNIE is designed to learn language represen-tation enhanced by knowledge masking strate-gies, which includes entity-level masking and phrase-level masking. Entity-level strategy masks entities which are usually composed of multiple words. Phrase-level strategy masks the whole phrase which is composed of several words standing together as a conceptual unit. Experimental results show that ERNIE outper-forms other baseline methods, achieving new state-of-the-art results on five Chinese natu-ral language processing tasks including nat-ural language inference, semantic similarity, named entity recognition, sentiment analysis and question answering. We also demonstrate that ERNIE has more powerful knowledge in-ference capacity on a cloze test. | 我们提出了一种由知识增强的新型语言表示模型,称为ERNIE(Enhanced Representation through kNowl-edge IntEgration)。受到BERT(Devlin等人,2018)的掩码策略启发,ERNIE旨在通过知识掩码策略学习语言表示,其中包括实体级别的掩码和短语级别的掩码。实体级别的策略掩盖了通常由多个词组成的实体。短语级别的策略掩盖了整个短语,该短语由几个词一起作为一个概念单元。实验结果表明,ERNIE在五个中文自然语言处理任务上表现优异,包括自然语言推理、语义相似性、命名实体识别、情感分析和问答,取得了新的最先进成果。我们还展示了ERNIE在填空测试中具有更强大的知识推理能力。 |
In this paper, we presents a novel method to inte-grate knowledge into pre-training language model. Experiments on 5 Chinese language processing tasks show that our method outperforms BERT over all of these tasks. We also confirmed that both the knowledge integration and pre-training on het-erogeneous data enable the model to obtain better language representation. In future we will integrate other types of knowl-edge into semantic representation models, such as using syntactic parsing or weak supervised signals from other tasks. In addition We will also validate this idea in other languages. | 在本文中,我们提出了一种将知识整合到预训练语言模型中的新方法。对5个中文语言处理任务的实验证明,我们的方法在所有这些任务上优于BERT。我们还确认了知识整合和在异构数据上的预训练使模型能够获得更好的语言表示。 在未来,我们将将其他类型的知识整合到语义表示模型中,例如使用句法解析或来自其他任务的弱监督信号。此外,我们还将在其他语言中验证这个想法。 |
文心大模型ERNIE是百度发布的产业级知识增强大模型,涵盖了NLP大模型和跨模态大模型。2019年3月,开源了国内首个开源预训练模型文心ERNIE 1.0,此后在语言与跨模态的理解和生成等领域取得一系列技术突破,并对外开源与开放了系列模型,助力大模型研究与产业化应用发展。提醒: ERNIE老版本代码已经迁移至repro分支,欢迎使用我们全新升级的基于动静结合的新版ERNIE套件进行开发。另外,也欢迎上EasyDL、BML体验更丰富的功能。
ERNIE-ViL 2.0 (base)
正式开源ERNIE-M
正式开源ERNIE-UNIMO
正式开源ERNIE-ViL
正式开源ERNIE-Doc
正式开源ERNIE-Gram
正式开源ERNIE-ViL
技术发布! (点击进入)ERNIE-GEN
模型正式开源! (点击进入)IJCAI-2020
收录。
- #进入预训练模型下载目录
- cd ./applications/models_hub
- #下载ERNIE3.0 base模型
- sh downlaod_ernie_3.0_base_ch.sh
配置 | 模型 | CLUEWSC2020 | IFLYTEK | TNEWS | AFQMC | CMNLI | CSL | OCNLI | 平均值 |
---|---|---|---|---|---|---|---|---|---|
24L1024H | RoBERTa-wwm-ext-large | 90.79 | 62.02 | 59.33 | 76.00 | 83.88 | 83.67 | 78.81 | 76.36 |
20L1024H | ERNIE 3.0-XBase | 91.12 | 62.22 | 60.34 | 76.95 | 84.98 | 84.27 | 82.07 | 77.42 |
12L768H | RoBERTa-wwm-ext-base | 88.55 | 61.22 | 58.08 | 74.75 | 81.66 | 81.63 | 77.25 | 74.73 |
12L768H | ERNIE 3.0-Base | 88.18 | 60.72 | 58.73 | 76.53 | 83.65 | 83.30 | 80.31 | 75.63 |
6L768H | RBT6, Chinese | 75.00 | 59.68 | 56.62 | 73.15 | 79.26 | 80.04 | 73.15 | 70.99 |
6L768H | ERNIE 3.0-Medium | 79.93 | 60.14 | 57.16 | 74.56 | 80.87 | 81.23 | 77.02 | 72.99 |
分类和匹配任务:
TASK | AFQMC | TNEWS | IFLYTEK | CMNLI | OCNLI | CLUEWSC2020 | CSL |
---|---|---|---|---|---|---|---|
epoch | 3 | 3 | 3 | 2 | 5 | 50 | 5 |
max_seq_length | 128 | 128 | 128 | 128 | 128 | 128 | 256 |
warmup_proportion | 0.1 | 0.1 | 0.1 | 0.1 | 0.1 | 0.1 | 0.1 |
Model | AFQMC | TNEWS | IFLYTEK | CMNLI | OCNLI | CLUEWSC2020 | CSL |
---|---|---|---|---|---|---|---|
ERNIE 3.0-Medium | bsz_32_lr_2e-05 | bsz_16_lr_3e-05 | bsz_16_lr_5e-05 | bsz_16_lr_1e-05/bsz_64_lr_2e-05 | bsz_64_lr_2e-05 | bsz_8_lr_2e-05 | bsz_32_lr_1e-05 |
ERNIE 3.0-Base | bsz_16_lr_2e-05 | bsz_64_lr_3e-05 | bsz_16_lr_5e-05 | bsz_16_lr_2e-05 | bsz_16_lr_2e-05 | bsz_8_lr_2e-05(drop_out _0.1) | bsz_16_lr_3e-05 |
ERNIE 3.0-XBase | bsz_16_lr_1e-05 | bsz_16_lr_2e-05 | bsz_16_lr_3e-05 | bsz_16_lr_1e-05 | bsz_32_lr_2e-05 | bsz_8_lr_2e-05 | bsz_64_lr_1e-05 |
环境安装与配置:https://github.com/PaddlePaddle/ERNIE/blob/ernie-kit-open-v1.0/README_ENV.md
git clone https://github.com/PaddlePaddle/ERNIE.git
- # ernie_3.0 模型下载
- # 进入models_hub目录
- cd ./applications/models_hub
- # 运行下载脚本
- sh download_ernie_3.0_base_ch.sh
#进入文本分类任务文件夹 cd ./applications/tasks/text_classification/ #查看文本分类任务自带数据集 ls ./data
#查看 ERNIE3.0预训练模型 训练文本分类任务的配置文件 cat ./examples/cls_ernie_fc_ch.json
python run_trainer.py
,如下所示,使用基于ernie的中文文本分类模型在训练集上进行本地模型训练。# ernie 中文文本分类模型 # 基于json实现预置网络训练。其调用了配置文件./examples/cls_ernie_fc_ch.json python run_trainer.py --param_path ./examples/cls_ernie_fc_ch.json
fleetrun --gpus=x,y run_trainer.py./examples/cls_ernie_fc_ch.json
- {
- "dataset_reader":{"train_reader":{"config":{"data_path":"./data/predict_data"}}},
- "inference":{"inference_model_path":"./output/cls_ernie_fc_ch/save_inference_model/inference_step_251",
- "output_path": "./output/predict_result.txt"}
- }
python run_infer.py --param_path ./examples/cls_ernie_fc_ch_infer.json
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。