自然语言处理中的Word Embedding简介_word embeddings

本文参考自What Are Word Embeddings for Text

简介

Word Embedding可以将word转化为数值型词向量，便于后续机器学习和深度学习模型的训练。并且，word之间的相似性越大，词向量之间的距离越小。

Word Embedding有两大优势：

• 原本离散的word被转化为连续的数值型向量，便于计算。
• 包含更多的信息：因为相似word的词向量在数值上是相近的。

Word Embedding的几种算法

Embedding Layer

借助神经网络(Embedding Layer)进行Word Embedding，神经网络的输入是one-hot的word，输出是词向量。神经网络可以是DNN，也可以是RNN。

这种方法需要非常多的训练数据，如果训练充分的话，效果会比较好。

Word2Vec

Word2Vec是2013年谷歌员工提出的Word Embedding算法，到目前为止，该算法也是Word Embedding流域的第一选择。

Word2Vec不仅能在快速完成词嵌入，而且在词向量中保留word之间的关系。它包含两个子算法：

• CBOW：利用上下文预测当前word
• Skip-Gram：利用当前word预测上下文