Word2Vec模型详解

文本向量化表示

对文本进行完预处理后，接下来的重要任务就是将文本用向量化的形式进行表达。在本章节中，我们将尽量全面地覆盖文本向量化表示方法，重点关注Word2Vec以及目前各种常用的词向量。

基于统计方法

首先，我们来看基于统计方法的向量化表示，包括One-Hot Encoding,，BOW，TF-IDF，矩阵分解

One-Hot Encoding

独热编码是比较容易想到的一种编码方式，但独热编码显然无法表示语义信息和词语之间的关系，而且独热编码矩阵是一个庞大并且稀疏的矩阵。

import numpy as np
def one_hot_encoding(tokenized_corpus, word2idx):
    vocab_size = len(word2idx)
    one_hot_array = np.zeros((vocab_size, vocab_size))
    m, n = tokenized_corpus.shape[0], tokenized_corpus.shape[1]
    for i in range(m):
        for j in range(n):
            token = tokenized_corpus[i, j]
            index = word2idx[token]
            one_hot_array[i, index] = 1
            
    return one_hot_array 
1
2
3
4
5
6
7
8
9
10
11
12

BOW(Bag of Words)

词袋模型是将句子中每一个词用其在句子中出现的次数来表示(Count-based)，这种做法考虑到了单词的重要性，但仍然无法理解语义信息和词语关系，同样是一个庞大的稀疏矩阵。

from sklearn.feature_extraction.text import CountVectorizer
corpus = [
    'I like this course',
    'I like this game',
    'I like this course, but I also like that game'
]
vectorizer = CountVectorizer()
counte_based_array = vectorizer.fit_transform(corpus)
1
2
3
4
5
6
7
8

TF-IDF向量

词频-逆文本频率是一种同统计方法，用于统计每个词对一份文件的重要程度。换言之，一个词在整个语料库中出现的次数越多，它的重要性越低(例如a, the)；而一个词在一份文件中出现次数越多，则其重要性越高。TF-IDF的公式如下
$$TF-IDF(w_i)=TF(d,w)\ast IDF(w)$$

$$TF(d,w):单词w在文档d中的频率$$

$$IDF(w)=log\frac{N}{N(w)}(N为语料库中的文档总数，N(w)为有词语w出现的文档数)$$

TF-IDF向量在机器学习中比较常见

from sklearn.feature_extraction.text import TfidfVectorizer

corpus = [
    'I like this course',
    'I like this game',
    'I like this course, but I also like that game'
]
vectorizer = TfidfVectorizer(use_idf=True, smooth=True)
tfidf_array = vectorizer.fit_transform(corpus)
1
2
3
4
5
6
7
8
9

矩阵分解

首先介绍矩阵分解SVD。若矩阵$A_{m\ast n}$​​满足$A{A}^T=A^{T}A=I$，则称矩阵$A$为正交矩阵。而酉矩阵是正交矩阵在复数域上的推广。(判断正交矩阵的充要条件：$A^T=A^{-1}$)​​

对任意的矩阵$A_{m\ast n}$，都能被奇异值分解为： A = U ( ∑ r 0 0 0 ) V T A=U(

$$\begin{matrix} \sum_{r} & 0 \\ 0 & 0\end{matrix}$$ )V^{T} A=U(∑r​0​00​)VT

其中$U$是$m\ast m$的正交矩阵，$V$是$n\ast n$的正交矩阵，${\sum }_r$是由矩阵$A$特征值从大到小排列成的方阵。

利用矩阵分解获得词向量：

我们定义一个$V\ast V$的方阵$X$，$V$​是词库大小，$X_{i,j}$表示单词$i$和单词$j$同时出现的次数。

将矩阵$X$进行SVD分解，得到的矩阵$U$或$V$即为词向量矩阵。

基于语言模型

在传统的向量化表示方法中，词向量矩阵的维度都是N*V的，一旦词库中单词数量很多，那么维度就会爆炸。而且，不论是独热编码还是BOW，文本都被表示成一个由0、1组成的稀疏向量。因此，我们希望能够训练出一种分布式的、可以指定维度的稠密的词向量，并且希望这种词向量能够有效表示出单词之间的关系。

Word2Vec

分布式假设

you shall know a word by the company it keeps(Harris, 1954; Firth, 1957)

分布式假设是说我们可以通过周围的词来预测当前词，基于这个假设，我们来研究Word2Vec两种著名的算法Skip-Gram和CBOW

Skip-Gram

Skip-Gram做的事情是根据中心词来预测上下文，即根据$w_t$​来预测$[w_{t-window\_size},w_{t-window\_size+1}...w_{t-1}]$​和$[w_{t+1},w_{t+2}...w_{t+window\_size}]$​​。

Skip-Gram模型的细节如下：

1. 使用一层隐藏层
2. 模型输入$w_t$​使用独热编码
3. 输出层采用$softmax$函数
4. 训练好的输入层与隐藏层之间的权重，即下图的矩阵$W$即为词向量

下面，我们来详细地学习一下Skip-Gram

假设我们的语料库是：I am a student studying in NUS. 我们定义$window\_size=1$​，那么我们需要做的是：
$$maximize:p(I|am)p(am|I)p(am|a)p(a|am)p(a|student)p(student|a)p(student|studying)p(studying|student)p(studying|in)p(in|studying)p(in|NUS)p(NUS|in)$$
我们将目标函数写成一般形式，即：
$$maximize:\prod _{w\in text}\prod _{c\in context(w)}p(c|w;\theta )$$
其中，$\theta$是我们的参数，也就是我们想要训练的词向量。看到概率连乘，自然想到取对数，即
$${\theta }^{\ast }=argmax(\sum _{w\in text}\sum _{c\in context(w)}logp(c|w;\theta ))$$
其中，$p(c|w;\theta )$应该满足以下几条性质：

1. $p(c|w;\theta )\in (0,1)$
2. 若c与w相似度高，则$p(c|w;\theta )$大
3. 若c与w相似度低，则$p(c|w;\theta )$小
4. ${\sum }_{c^{,}\in context(w)}p(c^{,}|w;\theta )=1$​

根据以上这几条性质，我们可以使用$softmax$函数来计算$p(c|w;\theta )$​，即
$$p(c|w;\theta )=\frac{exp(U_c{V}_w^T)}{{\sum }_{c^{,}}exp(U_{c^{,}}{V}_w^T)}$$
其中，U和V都是我们的词向量矩阵，定义两种矩阵的原因是每个词既可以作为中心词，也可以作为上下文词，所以在此加以区分。那么整个模型的参数$\theta$​就可以表示为$\theta =(U,V)$​

有了概率的表达式，我们可以将目标函数改写成以下的形式
$${\theta }^{\ast }=argmax(\sum _{w\in text}\sum _{c\in context(w)}(U_c{V}_w^T-log\sum _{c^{,}}exp(U_{c^{,}}{V}_w^T)))$$
要优化这个函数，我们可以采用梯度下降法来求解。但是不难发现一个问题，就是每次在更新梯度的时候，我们都要在每层求和符号里计算$log{\sum }_{c^{,}}exp(U_{c^{,}}{V}_w)$​，计算的成本是$O(V)$​​​​，V是词库大小。那假如我们的词库非常庞大，那么这个模型的效率就会很低。为了解决这个问题，作者提出了两种技巧：negative sampling(负采样)和hierarchical $softmax$(层级$softmax$​) 。

Negative Sampling

我们将$w_t$​的上下文单词叫做正样本，其余的成为负样本。我们重新定义目标函数
$${\theta }^{\ast }=argmax(\prod _{(w,c)\in D}p(D=1|w,c;\theta )\prod _{(w,c^{,})\in D_{noise}}p(D=0|w,c^{,};\theta ))$$
同样分析概率$p(D=1/0|w,c;\theta )$的性质可以得出，我们应该用$sigmoid$函数来计算此概率，即
$$p(D=1|w,c;\theta )=\frac{1}{1+exp(-U_c{V}_w)}$$

$$p(D=0|w,c;\theta )=\frac{exp(-U_c{V}_w)}{1+exp(-U_c{V}_w)}$$

那么，取对数后的目标函数可表示为
$${\theta }^{\ast }=argmax(\sum _{(w,c)\in D}log\sigma (U_c{V}_w))+\sum _{(w,c^{,})\in D_{noise}}log\sigma (-U_{c^{,}}{V}_w)$$
而在实际训练的过程中，我们不会只选取一组负样本，而是会选取多组负样本，所以目标函数为
$${\theta }^{\ast }=argmax(\sum _{(w,c)\in D}log\sigma (U_c{V}_w))+k\ast \sum _{(w,c^{,})\in D_{noise}}log\sigma (-U_{c^{,}}{V}_w)$$
接下来仍然采用梯度下降求解即可，梯度的求导过程如下：
$$\frac{\partial L}{\partial U_c}=V_w(1-\sigma (U_c{V}_w))$$

$$\frac{\partial L}{\partial V_w}=U_c(1-\sigma (U_c{V}_w))-k\ast \sum _{(w,c^{,})\in D_{noise}}{U}_{c^{,}}(1-\sigma (U_c{V}_w))$$

$$\frac{\partial L}{\partial U_{c^{,}}}=V_w(\sigma (U_c{V}_w)-1)$$

负样本的选取方式有以下三种：

• Randomly，随计选取
• By frequency， 根据频率
• Heuristic， 介于上述两种方法之间，频率的$\frac{3}{4}$​次方

Hierarchical Softmax

Hierarchical Softmax是指层级Softmax，利用了霍夫曼树，鉴于这只是训练的小trick且较为复杂，在这里不做过多介绍。

CBOW

CBOW和Skip-Gram的任务恰好相反，即根据上下文来预测中心词

具体细节与Skip-Gram类似，这里不再赘述

我们对两种Word2Vec模型做一个简单对比

Glove

Glove词向量结合了Skip-Gram和矩阵分解两种模型，兼顾全局和局部特征，并使用了加权的最小二乘误差。
$$J=\sum _{i,j=1}^{V}f(X_{i,j})(w_i^T{\tilde{w}}_j+b_i+\widetilde{b_j}-log{X}_{i,j}{)}^2$$

Glove论文：Pennington, J., Socher, R., & Manning, C. D. (2014, October). Glove: Global vectors for word representation. In Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP) (pp. 1532-1543).

# 在notebook中下载glove向量文件
!wget http://nlp.stanford.edu/data/glove.6B.zip
!unzip glove.6B.zip

# 使用方法
with codecd.open('glove.6B.100d.txt', 'r', 'utf-8') as f:
    for line in f.readlines():
        line = line.strip().split()
        if len(line) > 3:
            word, wvec = line[0], list(map(float, line[1:]))
1
2
3
4
5
6
7
8
9
10

Fasttext

Fasttext是一种高级词向量，它对Word2Vec中CBOW模型的进行了改进，具体的改进如下：

1. CBOW中预测的是中心词，Fasttext预测的是标签
2. 灵活地使用Hierarchical Softmax
3. 采用N-Gram特征

使用方法如下，详情参考gensim官方文档

from gensim.models import fasttext
# 创建fasttext模型
# tokenized_corpus是单词转换为对应数字后的文本
# min_count是单词出现的最小频率
# size是词向量维度
model = fasttext.FastText(tokenized_corpus, min_count, size)
1
2
3
4
5
6

用Hierarchical Softmax
3. 采用N-Gram特征

使用方法如下，详情参考gensim官方文档

from gensim.models import fasttext
# 创建fasttext模型
# tokenized_corpus是单词转换为对应数字后的文本
# min_count是单词出现的最小频率
# size是词向量维度
model = fasttext.FastText(tokenized_corpus, min_count, size)
1
2
3
4
5
6