总结word2vec_one-hot标签用什么符号表示

主要参考：https://www.zybuluo.com/Dounm/note/591752

词的表征方式

词的表征方式有两种：一是one-hot representation（独热表示）；二是distributed representation（分布式表示）。

独热表示（one-hot representation）

亦称独热编码，设词典的大小为N，首先将每个不同的词与0～N-1连续整数一一对应，即整数作为该词的索引，然后将每个词表示为长度为N的向量，在向量中，除词对应的索引i处为1，其余都为0。
该方法的优点是构建容易；缺点有：1.向量维度为词典大小，词越大维度越大；2.词与词间的相关性无法反映。

分布式表示（distributed representation）

鉴于one-hot编码的不足，提出了分布式表示。区别于one-hot编码，分布式表示将每个元素由整型改为浮点型；浮点型将原来的巨大维度的向量压缩到更小维度的空间。
分布式表示主要可分为两类：1.基于矩阵的分布表示，代表模型为GloVe；2.基于神经网络的分布表示，代表模型为word2vec。

word2vec的前世今生

统计语言模型

在NLP中，统计语言模型就是计算一个句子在语料库中出现概率的模型。设$W=w_1^T:=\left(w_1,w_2,...,w_T\right)$表示由$T$个词$w_1,w_2,...,w_T$组成的句子。则该句子的出现概率可表示为：
$$\begin{gathered} p\left(W\right)=p\left(w_1^T\right)=p\left(w_1,w_2,...,w_T\right) \\ =p\left(w_1\right)\cdot p\left(w_2|w_1\right)\cdot p\left(w_3|w_1^2\right)\cdot \cdot \cdot p\left(w_T|w_1^{T-1}\right) \end{gathered}$$

根据大数定理得到近似计算结果：
$$\begin{gathered} p\left(w_k|w_1^{k-1}\right)=\frac{p\left(w_1^k\right)}{p\left(w_1^{k-1}\right)} \\ \approx \frac{count\left(w_1^k\right)}{count\left(w_1^{k-1}\right)} \end{gathered}$$

虽然可以算出近似概率，但模型参数的个数太多。假设语料库中词典的大小为$N$，那么一维参数有$N$个（即每个词单独出现的概率），二维参数有个$N^2$（即已知第一个词，第二个词的概率，共$N\ast N$种），三维有个$N^3$，$T$维有$N^T$个参数。如果要计算任意长度为$T$的句子的概率，理论上就需要$N+N^2+...+N^T$个参数。

于是借助N-gram模型来简化参数

N-gram

即假设一个词只与它前面$n-1$个词相关。于是计算公式近似为：
$$\begin{gathered} p\left(w_k|w_1^{k-1}\right)\approx p\left(w_k|w_{k-n+1}^{k-1}\right)=\frac{p\left(w_1^k\right)}{p\left(w_{k-n+1}^{k-1}\right)} \\ \approx \frac{count\left(w_1^k\right)}{count\left(w_{k-n+1}^{k-1}\right)} \end{gathered}$$

实作上，最多的情况是取n=3。

概率模型函数化

N-gram模型是存储下来所有可能的概率参数，然后计算时对概率进行连乘。但参数还是比较多，还可以再减少参数。按照机器学习领域的通用做法，我们不需要存储所有可能的概率参数，而是求解对问题建模后得到的目标函数的最优参数即可。

对于统计语言模型来说，我们通常构造的目标函数是最大似然函数，如下式：
${\prod }_{w\in C}^{}p\left(w|Context\left(w\right)\right)$

即最大化已知词$w$的上下文时，词$w$出现的概率。其中$C$表示语料库；$Context(w)$表示$w$的上下文。

由于连乘可能导致概率极小，所以常用最大对数似然作为目标函数，即：
$L={\sum }_{w\in C}^{}logp\left(w|Context\left(w\right)\right)$

如果将条件概率$p\left(w|Context\left(w\right)\right)$视为关于$w$和$Context(w)$的函数，得到：
$L={\sum }_{w\in C}^{}logF\left(w,Context\left(w\right),\theta \right)$

其中$\theta$是待定参数集。因此一旦对上式进行优化得到最优参数集${\theta }^{\ast }$之后，$F$也就唯一确定。我们只需要存储${\theta }^{\ast }$，而不需要事先计算并保存所有的概率值了。如果选取合适的方法来构造函数$F$，可使$\theta$中参数的个数远小于N-gram模型中参数的个数。

神经网络语言模型(NNLM)

NNLM是上述目标函数的具象化实例，即用神经网络构建F，结构图如下：

训练样本：$（Context(w),w）$

投影层向量$X_w$：将$Context(w)$的词向量拼接在一起构成$X_w$（图中绿色实线），长度为$(n-1)\ast m$，$m$为单个词向量长度

隐藏层向量$Z_w$：$Z_w=tanh(W{X}_w+p)$

输出层向量y_w：维度为$N=|D|$，即词典$D$中词的个数，$y_w=U{Z}_w+H{X}_w+q$

其中$H{X}_w$为图中绿色虚线部分，将投影层向量直接接入输出层。

对$y_w$做softmax归一化后，得到的$y_w$的分量就是各词的概率，所以：$p\left(w|Context\left(w\right)\right)=\frac{e^{y_{w,i_w}}}{{\sum }_{i=1}^N{e}^{y_{w,i}}}$

对于NNLM，参数包括词向量$v(m)$和神经网络参数$W、U、H、p、q$，明显参数个数少了。

NNLM有以下优缺点：
1）优点
1.可以学习到词向量，词与词的相似度可以通过词向量来体现；
2.自带平滑化处理，无需额外处理。
2）缺点：计算量大。词向量的维度在$10^2$量级；隐藏层节点维度在$10^2$量级；输出层节点维度在$10^5$量级。对于每个词的训练都要经过矩阵运算和softmax，在词数很大的情况下，计算量就会很大。

word2vec的改进

1）优化网络结构

输入层到投影层的计算从拼接变为按位求和，缩小了Xw的维度；删去隐藏层，极大地降低了模型的复杂度。优化后的网络结构如下图：

设词向量的维度为3，词典大小为4，因此投影层的节点数为3，输出层的节点数为4，示意图如下：

对上图而言，任意节点$y_i$的计算公式为：
$y_i={\sum }_{j=1}^3{x}_j{w}_{ij}={\overrightarrow{w_i}}^T\vec{x}$
其中$x$为上下文向量，这里的权重$w_i$则为节点$y_i$的向量。
以$y_1$为例，$y_1={\overrightarrow{w_1}}^T\vec{x}=w_{11}{x}_1+w_{12}{x}_2+w_{13}{x}_3$
所以$x\to y$既可以看成点积，也可以看成全连接层的神经网络。

这也导致了最终每个词会学到两个词向量，一个是作为上下文（背景词）时学到的；另一个是作为中心词的时候学到的。在实际应用中，使用skip-gram学到的中心词向量作为词的最终向量；CBOW则相反。

2）优化softmax

为了从y输出层得到词出现概率，最后需要一个softmax归一化，计算公式为：
$$\begin{gathered} p\left(y_i|Context\left(w\right)\right)=\frac{exp\left(y_i\right)}{{\sum }_{k=1}^{N}exp\left(y_k\right)} \\ =\frac{exp\left({\overrightarrow{w_i}}^T\vec{x}\right)}{{\sum }_{k=1}^{N}exp\left({\overrightarrow{w_k}}^T\vec{x}\right)} \end{gathered}$$

这种计算方式问题在于分母计算量太大。对于语料库中的每个词，在训练时都需要遍历词典中所有的词。

因此，Word2vec提出了两种优化Softmax计算过程的方法，对应着Word2vec的两种框架，即：Hierarchical Softmax和Negative Sampling。

Hierarchical Softmax

Hierarchical softmax采用的树是二叉树。它将树上的叶子节点分配给词典里的词，而将从树根到叶子节点的路径上的每个非叶子结点都看作是二分类，路径上的二分类概率连乘的结果就是该叶子节点对应的词的概率。

例如已知$y_2$的编码为001，那么需要最大化从根节点到$y_2$的路径上的分类结果为0、0、1的概率。

一个full softmax需要一次计算所有的$W$个词，而hierarchical softmax却只需要计算大约$lo{g}_{2}W$（即树根到该叶子节点的路径长度）个词，大大减少了计算的复杂度。

实际应用中，Hierarchical Softmax采用是Huffman树而不是其他的二叉树，这是因为Huffman树对于高频词会赋予更短的编码，使得高频词离根节点距离更近，从而使得训练速度加快。

Negative Sampling

Negative Sampling采用随机负采样。
先回顾一下之前的softmax公式：
$p\left(y_i|Context\left(w\right)\right)=\frac{exp\left({\overrightarrow{w_i}}^T\vec{x}\right)}{{\sum }_{k=1}^{N}exp\left({\overrightarrow{w_k}}^T\vec{x}\right)}$
我们要最大化$p\left(y_i|Context\left(w\right)\right)$，就相当于最大化分子，最小化分母。因为两个向量的点积越大，约等于两个向量余弦相似度越高。所以，尽量最大化当前词$\overrightarrow{w_i}$和$\vec{x}$的相似度，最小化非当前词$\overrightarrow{w_k}$和$\vec{x}$的相似度。

我们将分子的$(Context(w),w_i)$看做一个正样本，将分母$(Context(w),w_k)$看做负样本。但问题在于上述公式将所有词都看作了负样本，计算太耗时。所以，我们采用负采样的思路，每次只从词典随机选一些词作为当前词$w$的负样本。

其实在做出随机选取负样本的动作之后，我们就已经抛弃了softmax这个函数所代表的归一化的意思了。也就代表我们不再关注语言模型的问题，而只关注求解词向量的问题。

选取负样本需要按照一定的概率分布，Word2vec使用的是$\frac{3}{4}$次幂的$Unigramdistribution$。概率分布公式如下：
$p\left(w\right)=\frac{{\left[count\left(w\right)\right]}^{\frac{3}{4}}}{{\sum }_{u\in D}^{}{\left[count\left(u\right)\right]}^{\frac{3}{4}}}$

基于Hierarchical Softmax的CBOW

网络结构：

• 上下文$Context(w)$：由$w$前后各$c$个词构成
• 输入层：包含$2c$个词的词向量
• 投影层：将输入的$2c$个词做累加求和
  $X_w={\sum }_{i=1}^{2c}v\left(Context{\left(w\right)}_i\right)\in R^m$
• 输出层：输出层对应的是一棵Huffman数。该Huffman树以词典中的词为叶子节点，以各词在语料中出现的次数当做权值构造。

即此时上图中$[x_1,x_2,x_3]$是由上下文词向量累加求和得到。

从根节点出发到某个叶子节点的路径上，每次分支都可视为进行了一次二分类。默认左边（编码为0）是负类，右边（编码为1）是正类。
基于Hierarchical Softmax的CBOW与NNLM的区别：

• 输入层到投影层：CBOW是累加，NNLM是拼接
• 隐藏层：CBOW无隐藏层，NNLM有
• 输出层：CBOW是树形结构，NNLM是线性结构

梯度计算

符号定义：

• $p^w$：从根节点到$w$对应的叶子节点的路径
• $l^w$：路径$p^w$上包含的节点的个数
• $p_1^w,p_2^w,...,p_{l^w}^w$：路径$p^w$上对应的节点
• d 2 w , d 3 w , . . . , d l w w ∈ { 0 , 1 } d_2^w,d_3^w,...,d_{l^w}^w\in\left \{0,1\right \} d2w​,d3w​,...,dlww​∈{0,1}：路径上的节点对应的Huffman编码，根节点不对应编码
• ${\theta }_1^w,{\theta }_2^w,...,{\theta }_{l^w-1}^w\in R^m$：路径上的非叶子对应的词向量

整体思路：
对于词典$D$中的任意词$w$，Huffman树中必存在一条从根节点到词$w$对应叶子节点的路径$p^w$。路径$p^w$上存在$l^w-1$个分支，将每个分支看做一次二分类，每次分类产生一个概率，将这些概率连乘得到$p(w|Context(w))$。

$p\left(w|Context\left(w\right)\right)={\prod }_{j=2}^{l^w}p\left(d_j^w|X_w,{\theta }_{j-1}^w\right)$

其中，
p ( d j w ∣ X w , θ j − 1 w ) = { σ ( X w T θ j − 1 w ) if  d j w = 0 1 − σ ( X w T θ j − 1 w ) if  d j w = 1 = [ σ ( X w T θ j − 1 w ) ] 1 − d j w ⋅ [ 1 − σ ( X w T θ j − 1 w ) ] d j w p\left ( d_{j}^{w}|X_w,\theta_{j-1}^{w}\right )=

$$\begin{cases} &\sigma \left ( X_{w}^{T}\theta _{j-1}^{w}\right ) &\text{if}\ d_{j}^{w}=0 \\ &1-\sigma \left ( X_{w}^{T}\theta _{j-1}^{w}\right ) &\text{if}\ d_{j}^{w}=1 \end{cases}$$ \\ =\left [ \sigma \left ( X_{w}^{T}\theta _{j-1}^{w}\right )\right ]^{1-d_{j}^{w}}\cdot \left [ 1-\sigma \left ( X_{w}^{T}\theta _{j-1}^{w}\right )\right ]^{d_{j}^{w}} p(djw​∣Xw​,θj−1w​)={​σ(XwT​θj−1w​)1−σ(XwT​θj−1w​)​if djw​=0if djw​=1​=[σ(XwT​θj−1w​)]1−djw​⋅[1−σ(XwT​θj−1w​)]djw​

带入最大似然公式$L={\sum }_{w\in C}^{}logp\left(w|Context\left(w\right)\right)$，得到：

$$\begin{gathered} L={\sum }_{w\in C}^{}log{\prod }_{j=2}^{l^w}\left\{{\left[\sigma \left(X_w^T{\theta }_{j-1}^w\right)\right]}^{1-d_j^w}\cdot {\left[1-\sigma \left(X_w^T{\theta }_{j-1}^w\right)\right]}^{d_j^w}\right\} \\ ={\sum }_{w\in C}^{}{\sum }_{j=2}^{l^w}\left\{\left(1-d_j^w\right)\cdot log\left[\sigma \left(X_w^T{\theta }_{j-1}^w\right)\right]+d_j^w\cdot log\left[1-\sigma \left(X_w^T{\theta }_{j-1}^w\right)\right]\right\} \end{gathered}$$

令：
$L\left(w,j\right)=\left(1-d_j^w\right)\cdot log\left[\sigma \left(X_w^T{\theta }_{j-1}^w\right)\right]+d_j^w\cdot log\left[1-\sigma \left(X_w^T{\theta }_{j-1}^w\right)\right]$

首先对$\theta$求导：
$$\begin{gathered} \frac{\partial L\left(w,j\right)}{\partial {\theta }_{j-1}^w}=\frac{\partial }{\partial {\theta }_{j-1}^w}\left\{\left(1-d_j^w\right)\cdot log\left[\sigma \left(X_w^T{\theta }_{j-1}^w\right)\right]+d_j^w\cdot log\left[1-\sigma \left(X_w^T{\theta }_{j-1}^w\right)\right]\right\} \\ =\left(1-d_j^w\right)\left[1-\sigma \left(X_w^T{\theta }_{j-1}^w\right)\right]X_w-d_j^w\sigma \left(X_w^T{\theta }_{j-1}^w\right)X_w \\ =\left\{\left(1-d_j^w\right)\left[1-\sigma \left(X_w^T{\theta }_{j-1}^w\right)\right]-d_j^w\sigma \left(X_w^T{\theta }_{j-1}^w\right)\right\}{X}_w \\ =\left[1-d_j^w-\sigma \left(X_w^T{\theta }_{j-1}^w\right)\right]X_w \end{gathered}$$

同理，
$\frac{\partial L\left(w,j\right)}{\partial X_w}=\left[1-d_j^w-\sigma \left(X_w^T{\theta }_{j-1}^w\right)\right]{\theta }_{j-1}^w$

在对词向量进行更新时，因为$X_w$表示的是$Context(w)$中各词词向量的叠加，所以$X_w$的更新也要贡献到$Context(w)$中的每个词向量上去。
$v\left(\bar{w}\right):=v\left(\bar{w}\right)+\eta {\sum }_{j=2}^{l^w}\frac{\partial L\left(w,j\right)}{\partial X_w},\bar{w}\in Context\left(w\right)$

基于Negative Sampling的CBOW

梯度计算

符号定义：
设关于$w$的负样本子集$NEG(w)$，并且定义了对于词典$D$中的任意词$w^{\prime }$，都有
L w ( w ′ ) = { 1  if  w ′ = w 0  if  w ′ ≠ w L^{w}\left ( {w}'\right )=

$$\begin{cases} &1\ \text{if}\ {w}'=w \\ &0\ \text{if}\ {w}'\neq w \end{cases}$$ Lw(w′)={​1 if w′=w0 if w′​=w​

整体思路：
对于一个给定的正样本$(Context(w),w)$，我们希望最大化：
g ( w ) = ∏ u ∈ { w } ∪ N E G ( w ) p ( u ∣ C o n t e x t ( w ) ) g\left ( w\right )=\prod_{u\in \left \{w\right \}\cup NEG\left ( w\right )}^{}p\left ( u|Context\left ( w\right )\right ) g(w)=∏u∈{w}∪NEG(w)​p(u∣Context(w))
其中，
p ( u ∣ C o n t e x t ( w ) ) = { σ ( X w T θ u )   if  L w ( u ) = 1 1 − σ ( X w T θ u )   if  L w ( u ) = 0 = [ σ ( X w T θ u ) ] L w ( u ) ⋅ [ 1 − σ ( X w T θ u ) ] 1 − L w ( u ) p\left ( u|Context\left ( w\right )\right )=

$$\begin{cases} &\sigma \left ( X_{w}^{T}\theta ^{u}\right )\ &\text{if}\ L^w\left ( u\right )=1 \\ &1-\sigma \left ( X_{w}^{T}\theta ^{u}\right )\ &\text{if}\ L^w\left ( u\right )=0 \end{cases}$$ \\ =\left [ \sigma \left ( X_{w}^{T}\theta ^{u}\right )\right ]^{L^w\left ( u\right )}\cdot \left [ 1-\sigma \left ( X_{w}^{T}\theta ^{u}\right )\right ]^{1-L^w\left ( u\right )} p(u∣Context(w))={​σ(XwT​θu) 1−σ(XwT​θu) ​if Lw(u)=1if Lw(u)=0​=[σ(XwT​θu)]Lw(u)⋅[1−σ(XwT​θu)]1−Lw(u)

所以，
$g\left(w\right)=\sigma \left(X_w^T{\theta }^w\right){\prod }_{u\in NEG\left(w\right)}^{}\left[1-\sigma \left(X_w^T{\theta }^w\right)\right]$

对于给定语料库$C$来说，整体的优化目标即为最大化$G={\prod }_{w\in C}^{}g\left(w\right)$。则$Loss$函数为：

L = l o g G = l o g ∏ w ∈ C g ( w ) = ∑ w ∈ C l o g   g ( w ) = ∑ w ∈ C l o g ∏ u ∈ { w } ∪ N E G ( w ) { [ σ ( X w T θ u ) ] L w ( u ) ⋅ [ 1 − σ ( X w T θ u ) ] 1 − L w ( u ) } = ∑ w ∈ C ∑ u ∈ { w } ∪ N E G ( w ) { L w ( u ) ⋅ l o g [ σ ( X w T θ u ) ] + [ 1 − L w ( u ) ] ⋅ l o g [ 1 − σ ( X w T θ u ) ] } L=logG=log\prod_{w\in C}^{}g\left ( w\right )=\sum_{w\in C}^{}log\ g\left ( w\right )\\ =\sum_{w\in C}^{}log\prod_{u\in \left \{w\right \}\cup NEG\left ( w\right )}^{}\left \{\left [ \sigma \left ( X_{w}^{T}\theta ^{u}\right )\right ]^{L^w\left ( u\right )}\cdot \left [ 1-\sigma \left ( X_{w}^{T}\theta ^{u}\right )\right ]^{1-L^w\left ( u\right )}\right \}\\ =\sum_{w\in C}^{}\sum_{u\in \left \{w\right \}\cup NEG\left ( w\right )}^{}\left \{L^w\left ( u\right )\cdot log\left [ \sigma \left ( X_{w}^{T}\theta ^{u}\right )\right ]+\left [ 1-L^w\left ( u\right )\right ]\cdot log\left [1- \sigma \left ( X_{w}^{T}\theta ^{u}\right )\right ]\right \} L=logG=log∏w∈C​g(w)=∑w∈C​log g(w)=∑w∈C​log∏u∈{w}∪NEG(w)​{[σ(XwT​θu)]Lw(u)⋅[1−σ(XwT​θu)]1−Lw(u)}=∑w∈C​∑u∈{w}∪NEG(w)​{Lw(u)⋅log[σ(XwT​θu)]+[1−Lw(u)]⋅log[1−σ(XwT​θu)]}

令：
$L\left(w,u\right)=L^w\left(u\right)\cdot log\left[\sigma \left(X_w^T{\theta }^u\right)\right]+\left[1-L^w\left(u\right)\right]\cdot log\left[1-\sigma \left(X_w^T{\theta }^u\right)\right]$

对上式求导，得：

$$\begin{gathered} \frac{\partial L\left(w,u\right)}{\partial {\theta }^u}=\frac{\partial }{\partial {\theta }^u}\left\{L^w\left(u\right)\cdot log\left[\sigma \left(X_w^T{\theta }^u\right)\right]+\left[1-L^w\left(u\right)\right]\cdot log\left[1-\sigma \left(X_w^T{\theta }^u\right)\right]\right\} \\ =L^w\left(u\right)\left[1-\sigma \left(X_w^T{\theta }^u\right)\right]X_w-\left[1-L^w\left(u\right)\right]\sigma \left(X_w^T{\theta }^u\right)X_w \\ =\left[L^w\left(u\right)-\sigma \left(X_w^T{\theta }^u\right)\right]X_w \end{gathered}$$

同理，
$\frac{\partial L\left(w,u\right)}{\partial X_w}=\left[L^w\left(u\right)-\sigma \left(X_w^T{\theta }^u\right)\right]{\theta }^u$

所以，词向量的更新为：

v ( w ′ ) : = v ( w ′ ) + η ∑ u ∈ { w } ∪ N E G ( w ) ∂ L ( w , u ) ∂ X w , w ′ ∈ C o n t e x t ( w ) v\left ( {w}'\right ):=v\left ( {w}'\right )+\eta \sum_{u\in \left \{w\right \}\cup NEG\left ( w\right )}^{}\frac{\partial L\left ( w,u\right )}{\partial X_w},{w}'\in Context\left ( w\right ) v(w′):=v(w′)+η∑u∈{w}∪NEG(w)​∂Xw​∂L(w,u)​,w′∈Context(w)

基于Hierarchical Softmax的skip-gram

skip-gram模型是已知当前词$w$，对其上下文$Context(w)$中的词进行预测。

网络结构

• 输入层：当前样本的中心词$w$的词向量
• 投影层：没作用
• 输出层：类似CBOW模型，也是一颗Huffman树
  

即此时上图中$[x_1,x_2,x_3]$是由上下文词向量累加求和得到。

梯度计算

$p\left(Context\left(w\right)|w\right)={\prod }_{u\in Context\left(w\right)}^{}p\left(u|w\right)$

基于Hierarchical Softmax，有：

$$\begin{gathered} p\left(u|w\right)={\prod }_{j=2}^{l^w}p\left(d_j^u|v\left(w\right),{\theta }_{j-1}^u\right) \\ ={\prod }_{j=2}^{l^w}{\left[\sigma \left(v{\left(w\right)}^T{\theta }_{j-1}^u\right)\right]}^{1-d_j^u}\cdot {\left[1-\sigma \left(v{\left(w\right)}^T{\theta }_{j-1}^u\right)\right]}^{d_j^u} \end{gathered}$$

带入最大似然公式，得：

$$\begin{gathered} L={\sum }_{w\in C}^{}log{\prod }_{u\in Context\left(w\right)}^{}{\prod }_{j=2}^{l^w}\left\{{\left[\sigma \left(v{\left(w\right)}^T{\theta }_{j-1}^u\right)\right]}^{1-d_j^u}\cdot {\left[1-\sigma \left(v{\left(w\right)}^T{\theta }_{j-1}^u\right)\right]}^{d_j^u}\right\} \\ ={\sum }_{w\in C}^{}log{\sum }_{u\in Context\left(w\right)}^{}{\sum }_{j=2}^{l^w}\left\{\left(1-d_j^u\right)\cdot log\left[\sigma \left(v{\left(w\right)}^T{\theta }_{j-1}^u\right)\right]+d_j^u\cdot log\left[1-\sigma \left(v{\left(w\right)}^T{\theta }_{j-1}^u\right)\right]\right\} \end{gathered}$$

令：
$L\left(w,u,j\right)=\left(1-d_j^u\right)\cdot log\left[\sigma \left(v{\left(w\right)}^T{\theta }_{j-1}^u\right)\right]+d_j^u\cdot log\left[1-\sigma \left(v{\left(w\right)}^T{\theta }_{j-1}^u\right)\right]$

对上式求导，得：

$$\begin{gathered} \frac{\partial L\left(w,u,j\right)}{\partial {\theta }_{j-1}^u}=\frac{\partial }{\partial {\theta }_{j-1}^u}\left\{\left(1-d_j^u\right)\cdot log\left[\sigma \left(v{\left(w\right)}^T{\theta }_{j-1}^u\right)\right]+d_j^u\cdot log\left[1-\sigma \left(v{\left(w\right)}^T{\theta }_{j-1}^u\right)\right]\right\} \\ =\left(1-d_j^u\right)\left[1-\sigma \left(v{\left(w\right)}^T{\theta }_{j-1}^u\right)\right]v\left(w\right)-d_j^u\sigma \left(v{\left(w\right)}^T{\theta }_{j-1}^u\right)v\left(w\right) \\ =\left\{\left(1-d_j^u\right)\left[1-\sigma \left(v{\left(w\right)}^T{\theta }_{j-1}^u\right)\right]-d_j^u\sigma \left(v{\left(w\right)}^T{\theta }_{j-1}^u\right)\right\}v\left(w\right) \\ =\left[1-d_j^u-\sigma \left(v{\left(w\right)}^T{\theta }_{j-1}^u\right)\right]v\left(w\right) \end{gathered}$$

同理，

$\frac{\partial L\left(w,u,j\right)}{\partial v\left(w\right)}=\left[1-d_j^u-\sigma \left(v{\left(w\right)}^T{\theta }_{j-1}^u\right)\right]{\theta }_{j-1}^u$

更新公式如下：
${\theta }_{j-1}^u:={\theta }_{j-1}^u+\eta \left[1-d_j^u-\sigma \left(v{\left(w\right)}^T{\theta }_{j-1}^u\right)\right]v\left(w\right)$

$v\left(w\right):=v\left(w\right)+\eta {\sum }_{u\in Context\left(w\right)}^{}{\sum }_{j=2}^{l^w}\left[1-d_j^u-\sigma \left(v{\left(w\right)}^T{\theta }_{j-1}^u\right)\right]{\theta }_{j-1}^u$

基于Negative Sampling的Skip-gram

略。

总结

word2vec的发展历程可以概括为：统计语言模型–>N-gram–>NNLM一类模型–>word2vec。

word2vec有两种优化softmax归一化的方式，一种是Hierarchical Softmax；另一种是Negative Sampling。

word2vec包含两种模型：一种是skip-gram，基于中心词预测背景词；另一种是CBOW，基于背景词预测中心词。