赞
踩
一个字可以有多种意思,例如:“你好捞哦”和“我捞起鱼”。很明显两个“捞”表达的意思并不相同,但是如果使用word2vec做静态embedding,那么神经网络看到的“捞”是同样的语意。于是就延伸出参考上下文的embedding(Contextualized word embedding)。这种embeding可以保证同一个字在不同的语境下有不同的embeding。本文由整理李宏毅老师视频课笔记和个人理解所得,介绍几种主流的NLP模型:ELMO,BERT和GPT,三个网络模型都是Contextualized word embedding的模型。我会及时回复评论区的问题,如果觉得本文有帮助欢迎点赞
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。