赞
踩
迁移学习在nlp领域的应用之pretrain language representation,四连载,建议按顺序看,看完对该方向一定会非常清楚的!
(一)ELMO:Deep contextualized word representations
(二)Universal Language Model Fine-tuning for Text Classification
(三)openAI GPT:Improving Language Understanding by Generative Pre-Training
(四)BERT: Pretraining of Deep Bidirectional Transformers for Language Understanding
这是NAACL 2018的最佳论文。本笔记结合原文使用更佳哦。
以前的词向量都是与上下文无关的词向量,比如用word2vec训练的时候,使用单层神经网络
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。