层与特征融合_每日一读：融合词性的双注意力 BiLSTM 情感分析

5.融合词性的双注意力 Bi-LSTM 情感分析

5.1论文信息

• 四川大学计算机学院、 四川省计算机研究院、成都瑞贝英特信息技术有限公司、四川智仟科技有限公司、四川黑马数码科技有限公司，赵 富、杨 洋、蒋 瑞、张利君、任晓雷
• 计算机应用，2018年
• 归档：WPS网盘\我的云文档\论文汇报\毕业论文\论文部分\短文本情感分析算法部分\参考文献
• 关键词：情感分析; 自然语言处理; 字向量; 词向量; 词性; 注意力机制; 双向长短期记忆网络

5.2论文重点

• 研究目的：对短文本进行情感分析时，时常因为文本过短，提取特征信息不足等特点导致分类准确度不高等问题。因此提出一种融合词性的注意力Bi-LSTM模型。
• 研究方法：向量层为：词向量+词性向量+字向量；特征提取层为Bi-LSTM+注意力机制
• 研究结果：有了较好的提升

5.3 模型分析

该论文提出一种融合词性的双重注意力的Bi-LSTM模型，具体如下图所示：

5.3.1 向量表示层

采用“结巴”分词工具，对语句进行切分，包括提取出相应的词性。其采用这种方式的原因：在情分析任中，大多数文本过短，往往只关注字词的表面的语义，有时难以充分利用文本的信息。因此，可以有效地利用词性特征，例如一些情感形容词和程度副词，对文的情感倾向具有很大的作用，以可以通过加入词性征，提升分析的分类效果。

5.3.2 Bi-LSTM层

参见Bi-LSTM总结内容 这里作者对词和词性高层次语义融合部分进行了对比分析，具体如下图：

其中点乘方式为：和方式为：

5.3.3 注意力机制层

参见注意力机制。

5.3.4 特征融合层

这里将字和融合词性的词向量进行拼接，并融入到下一层。

5.3.5 输出层

使用softmax进行输出

5.4 模型参数

没有提供

5.5 启发与评价

• 启发：针对短文本的问题，提出加入词性的方式，因此在面对短文本，提取特征难等问题，可以向其提供更多的特征，包括：词性，句法分析等。
• 评价：该问题提出的模型创新性较低，无算法层面的创新。但是其提出的加入词性的方法为解决短文本情感分析提供了一种较好的思路。