wordembedding评价_word embedding分析论坛评论

作者：不正经 | 2024-05-18 16:24:11

踩

word embedding分析论坛评论

  1.第一类指标为评价词向量的语言学特性 

  标准的WordSim353 数据集(语义相关性)（ws） 

  TOEFL 数据集（同义词检测）（tfl） 

  单词类比（sem，syn） 

 
 单词语义： 
 (sem): 9000 
 个问题。 
 queen-king+man=women 
 。准确率(questions-words.txt) 

 
 单词句法类比 
 (syn): 1W 
 个问题。 
 dancing-dance+predict=predicting 
 。准确率 

  2.文本分类任务和命名实体识别任务 

  3.第三类指标中，本文将词向量作为神经网络模型的初始值，并使用卷积神经网络做情感 

  分类任务 

  生成高质量词向量的建议： 

  1.选择一个合适领域的语料，在此前提下，语料规模越大越好。 

  2.选择一个合适的模型。复杂的模型相比简单的模型，在较大的语料中才有优势。 

  3.训练时，迭代优化的终止条件最好根据具体任务的验证集来判断，或者近似地选取其它类似的任务作为指标，但是不应该选用训练词向量时的损失函数。 

  4.词向量的维度一般需要选择50 维及以上，特别当衡量词向量的语言学特性时，词向量的维度越大，效果越好。 

  小语料选择skip-gram 

  大语料选择CBOW 

  50维以上，越大越好 

  迭代次数按照任务来看（要实验）。 

  设计实验满足最好的WS 

  lisctar博士总结： 

  1.Semantic Properties测试集： 

  ws ： WordSim353 

  tfl ： TOEFL 

  sem-syn ： The analogy task has approximately 9K semantic and 10.5K syntactic analogy questions. 

  2.Embedding as Features 

  text classification task： 

  The weight for each word is its term frequency.This dataset contains three parts. The 

  training and test set are used to train and test the text classication model. The unlabeled set is used to train the word embeddings. 

  named entity recognition： 

  3.embedding as the initialzation of NNs 

  cnn： 

  pos： 

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/不正经/article/detail/589098