ELMO，BERT和GPT的原理和应用总结（李宏毅视频课整理和总结）_bert, elmo, and gpt

作者：小舞很执着 | 2024-06-25 23:54:32

踩

bert, elmo, and gpt

文章目录

0 前言
1 Introduction
- 1.1 word2vec
- 1.2 Contextualized Word Embedding
2 Embeddings from Language Model (ELMO)
3 Bidirectional Encoder Representations from Transformers (BERT）
4 Generative Pre-Training (GPT)

0 前言

一个字可以有多种意思，例如：“你好捞哦”和“我捞起鱼”。很明显两个“捞”表达的意思并不相同，但是如果使用word2vec做静态embedding，那么神经网络看到的“捞”是同样的语意。于是就延伸出参考上下文的embedding(Contextualized word embedding)。这种embeding可以保证同一个字在不同的语境下有不同的embeding。本文由整理李宏毅老师视频课笔记和个人理解所得，介绍几种主流的NLP模型：ELMO，BERT和GPT，三个网络模型都是Contextualized word embedding的模型。我会及时回复评论区的问题，如果觉得本文有帮助欢迎点赞声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop】