当前位置:   article > 正文

文献阅读笔记—Deep contextualized word representations

deep contextualized word representations

迁移学习在nlp领域的应用之pretrain language representation,四连载,建议按顺序看,看完对该方向一定会非常清楚的!

(一)ELMO:Deep contextualized word representations

(二)Universal Language Model Fine-tuning for Text Classification

(三)openAI GPT:Improving Language Understanding by Generative Pre-Training

(四)BERT: Pretraining of Deep Bidirectional Transformers for Language Understanding

1. 问题描述

这是NAACL 2018的最佳论文。本笔记结合原文使用更佳哦。

以前的词向量都是与上下文无关的词向量,比如用word2vec训练的时候,使用单层神经网络࿰

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/知新_RL/article/detail/801408
推荐阅读
相关标签
  

闽ICP备14008679号