九、ELMo 语言模型

作者：盐析白兔 | 2024-03-15 04:14:09

踩

九、ELMo 语言模型

ELMo（Embeddings from Language Models）兼顾了两个问题：一是词语用法在语义和语法上的复杂特点；二是随着语言环境的改变，这些用法也应该随之改变，解决多义词的问题。

ELMo 语言模型原理图：

ELMo 模型原理图中虚线的部分是两个双层的 LSTM 网络结构。

左侧的是一个从左到右顺序的正向的双层LSTM 网络，主要用来理解预测词的上文 Context-before。
右侧是一个从右到左逆序的逆向的双层 LSTM 网络结构，主要用来理解预测词的下文 Context-after。

也就是说ELMo 会同时考虑上文和下文。

参考ELMo模型概述

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/盐析白兔/article/detail/238898