Attention in Character-Based BiLSTM-CRF for Chinese Named Entity Recognition_attention机制在bilstm-crf中的应用实例

Attention in Character-Based BiLSTM-CRF for Chinese Named Entity Recognition

概述

作者提出了一种基于字符(区别于词)的中文命名实体识别方法。提取字符级特征和字形特征,字符级特征和字形特征

经过attention机制作用后得到最后的特征，特征作为框架BiLSTM-CRF的输入。经过BiLSTM-CRF的处理，完成

命名实体识别任务。

字符嵌入

Glove 理解GloVe模型（+总结）

字形特征提取

中文是一种典型的象形文字。一般人们遇见不认识的字，习惯性得通过其形状来猜测其意思。本文提出的提取字形

特征的方法是模拟人总是通过其形状来理解一个不认识的字。具体得将每一个中文字符转化为一个灰度图(数据预

处理的时候删除了标点符号，0-9数字全转变为1)，然后通过CNN(类似于VGG模型), 从灰度图中提取300维的向量。具体的模型架构文章并没有给出。

attention机制

c是嵌入特征向量，g是字形特征向量，两个维度相同。

attention机制的过程如下，c、g分别经过全连接层得到两个输出，两个输出相加得到hidden layer1

经过tanh激活函数激活，得到hidden layer 2, 最后进过一个全连接层达到最后的我们要的权重$\theta$

公式15详细阐述了，c, g, $\theta$到达x的计算过程。

原论文链接