Attention + BiLSTM_bilstm attention

摘要

• 暂无

引文

• 关系抽取从本质上看是一个多分类问题，对于这样一个问题来说最重要的工作无非特征的提取和分类模型的选择。
• 存在的问题及此模型提出的解决方法
  • NLP特征提取难度大
  • 双向LSTM结合Attention机制，能在长时保留信息的基础上，自动发现那些对于分类起到关键作用的词，避免了传统的任务中复杂的特征工程。

基本原理

模型原理图

模型解释

• 模型结构

  1. 输入层：将句子拆分成词语输入到模型中
  2. Embedding层：将每个词映射到低维空间
  3. LSTM层：使用双向LSTM从Embedding层获取高级特征
  4. Attention层：生成一个权重向量，通过与这个权重向量相乘，使每一次迭代中的词汇级的特征合并为句子级的特征。
  5. 输出层：将句子级的特征向量用于关系分类

• Word Embeddings

  • 对于一个给定的包含$T$个词的句子$S:S=x_1,x_2,\dots ,x_T$。每一个词$x_i$都被词向量矩阵$W^{wrd}$转换为一个实数向量$e_i$
    $$e_i=W^{wrd}\cdot v_i$$
  • 参数说明
    • $W^{wrd}\in R^{d^w\cdot |V|}$是通过训练学习到的一个参数矩阵
    • $d^w$是词向量的维度 —— 一个由用户自定义的超参数
    • $V$是大小固定的词汇表，$|V|$表示词汇表的大小
    • $v_i$是$x_i$的独热码

• BiLSTM
  
  

  • 此处使用的单向LSTM不是经典的LSTM，而是Graves¹等人(2013)提出的一个LSTM变体。此变体同样包含从输入门到输出门的四个部分：
    • 输入门：$i_t=\sigma (W_{xi}\cdot x_t+W_{hi}\cdot h_{t-1}+W_{ci}\cdot c_{t-1}+b_i)$
    • 遗忘门：$f_t=\sigma (W_{xf}\cdot x_t+W_{hf}\cdot h_{t-1}+W_{cf}\cdot c_{t-1}+b_f)$
    • 神经元状态：$c_t=f_t{c}_{t-1}+i_{t}tanh(W_{xc}{x}_t+W_{hc}{h}_{t-1}+W_{cc}{c}_{t-1}+b_c)$
    • 输出门：$o_t=\sigma (W_{xo}{x}_t+W_{ho}{h}_{t-1}+W_{co}{c}_t+b_o)$
    • 当前隐状态：$h_t=o_{t}tanh(c_t)$
  • 双向LSTM
    • $h_i=[\overrightarrow{h_i}⨁\overleftarrow{h_i}]$
  • 参数说明
    • Graves¹等人(2013)的原论文中，神经元状态并没有$W_{cc}{c}_{t-1}$这一项
    • $\sigma$是logistic sigmoid函数
    • $i$, $f$, $o$ 和 $c$ 分别代表输入门（input gate），遗忘门（forget gate），输出门（output gate）和神将元状态（cell）

• Attention

  • 将BiLSTM层输入的向量集合表示为$H:[h_1,h_2,\dots ,h_T]$。其Attention层得到的权重矩阵由下可得
    $$M=tanh(H)$$ $$\alpha =softmax(w^{T}M)$$
  • 句子的向量表示为
    $$r=H{\alpha }^T$$ $$h^{\ast }=tanh(r)$$
  • 参数说明
    • $T$是句子长度
    • $H\in R^{d^w\times T}$，$d^w$为词向量的维度
    • $w^T$是一个训练学习得到的参数向量的转置
    • $r$为句子的向量表示，维度为$d^w$
    • $h^{\ast }$为最终用以分类的句子的表示，维度为$d^w$

• Classifying

  • 使用一个softmax分类器来预测标签$\hat{y}$，该分类器将上一层得到的隐状态作为输入：
    $$\hat{p}(y|S)=softmax(W^{(S)}{h}^{\ast }+b^{(S)})$$ $$\hat{y}=\underset{y}{\mathrm{argmax}}\hat{p}(y|S)$$

  • 成本函数采用正样本的负对数似然：
    $$J(\theta )=-\frac{1}{m}\sum _{i=1}^m{t}_{i}log(y_i)+\lambda ||\theta ||{}_F^2$$

  • 参数说明

    • $S$为包含$T$个词的句子，$W^{(S)}$为句子$S$的参数矩阵
    • $t\in {\Re }^m$为正样本的one-hot表示
    • $y\in {\Re }^m$为softmax估计出的每个类别的概率
    • $\lambda$是L2正则化的超参数
    • 在embedding、LSTM、Attention层使用Dropout以减轻过拟合
    • 使用L2正则化以减轻过拟合

思考

• 结论：这篇论文用最简单的方式，巧妙地在双向LSTM模型中加入Attention机制，用于关系抽取任务，避免了传统的任务中复杂的特征工程，大大简化了实验过程并得到相当不错的结果。
• 缺点：

参考资料

• 论文链接
  • https://www.aclweb.org/anthology/P16-2034.pdf
• 引用资料

---

1. https://arxiv.org/pdf/1308.0850v5.pdf ↩︎ ↩︎