当前位置:   article > 正文

NLP——基于深度学习的自然语言处理

基于深度学习的自然语言处理

NLP

编码方式

One-hot独热编码(人为规定)

  • 特征系稀疏
  • 词之间相互独立
  • 不能表征词与词之间的关系,one-hot之间正交

Embedding编码(词向量矩阵)

  • 特征稠密
  • 能够表征词语词之间的互相关系
  • 泛化性更好(one-hot与之相比就是完全命中),支持语义计算
    在这里插入图片描述

词监督词向量方法

词向量模型(Word2Vec)

  • skip-gram(自监督学习)
    skip-gram目标是:最大化上下文单词的预测概率
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/在线问答5/article/detail/808998
推荐阅读
相关标签
  

闽ICP备14008679号