自然语言处理中的语言模型预训练方法--ELMO_elmo有预训练模型吗?需要自己搭建模型然后训练吗?

作者：羊村懒王 | 2024-06-17 17:22:27

踩

elmo有预训练模型吗?需要自己搭建模型然后训练吗?

自然语言处理中的语言模型预训练方法--ELMO

1.引言
2. ELMO
3. ELMO 方法
4 ELMO使用
5. 总结

1.引言

在介绍论文之前，我将先简单介绍一些相关背景知识。首先是语言模型（Language Model），语言模型简单来说就是一串词序列的概率分布。具体来说，语言模型的作用是为一个长度为m的文本确定一个概率分布P，表示这段文本存在的可能性。在实践中，如果文本的长度较长，P(wi | w1, w2, . . . , wi−1)的估算会非常困难。因此，研究者们提出使用一个简化模型：n元模型（n-gram model）。在 n 元模型中估算条件概率时，只需要对当前词的前n个词进行计算。在n元模型中，传统的方法一般采用频率计数的比例来估算n元条件概率。当n较大时，机会存在数据稀疏问题，导致估算结果不准确。因此，一般在百万词级别的语料中，一般也就用到三元模型。
在这里插入图片描述
目前

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/羊村懒王/article/detail/732116