NLP（十）：ERNIE_ernie算法

作者：IT小白 | 2024-04-02 11:16:52

踩

ernie算法

1.ERNIE1.0

ERNIE（Enhanced Representation through Knowledge Integration）是百度基于BERT开发的NLP模型。ERNIE使用了更多的语料，除维基百科等数据集外，还使用了中文维基百科，百度百科，百度新闻，百度贴吧数据集。该模型的参数： L = 12，H = 768，A = 12 （BERT BASE）。

ERNIE实现了实体级别的Mask，实体级别的连续Mask改变了训练Task，而BERT是基于单字的Mask，其区别如下图所示：

在这里插入图片描述
ERNIE的实体级别的Mask包括单字、实体和短语等三个级别，实现字粒度的输入：

在这里插入图片描述
使用不同级别的Mask效果如下：

在这里插入图片描述
ERNIE还采用了Dialog embedding，

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/IT小白/article/detail/352103