基于LSTM的情绪分析_lstm 情绪识别

1. 摘要

自然语言处理是当代机器学习一块很重要的分支，而情绪分析也是NLP中的重要研究部分。本文为基于简单的“情绪数据集”，通过词向量模型，LSTM等方法训练神经网络模型，对句子进行情绪上的分类与识别。最终识别准确率可达到90.95%。

关键词：NLP, 文本情感分析，情绪分析，词向量模型，LSTM，神经网络，深度学习。

2. 引言

自然语言处理（NLP）是一种专业分析人类语言的人工智能。它接收自然语言,
转译自然语言，最后分析自然语言并输出结果。文本情感分析(Sentiment Analysis)是指利用自然语言处理和文本挖掘技术，对带有情感色彩的主观性文本进行分析、处理和抽取的过程。

深度学习技术发展到今天，在自然语言处理领域有很多的应用。而由于人类语言的多样性、多意性，使得NLP的难度成倍增加。例如由相同的三个字形成的组合“不怕辣”、“辣不怕”、“怕不辣”、“怕辣不”表达了不同的含义。因此，对于自然语言的处理仍具有挑战性与发展空间。本文旨在分析自然语言语句（英语为例），来对其表达的情绪进行归类于分析。

3. 主要研究技术与方法

3.1 词向量模型

人类想要读懂一句话往往非常容易，然而对于机器来讲却是一个需要不断学习的漫长而复杂的过程。想要让机器读懂一句话，我们必须将自然语言转化成计算机可识别的数字。文本向量化表示就是用数值向量来表示文本的语义。我们人类在读一段文本后立刻就能明白它要表达的内容，如何让机器也能拥有这样的能力呢？

文本分类领域使用了信息检索领域的词袋模型，词袋模型在部分保留文本语义的前提下对文本进行向量化表示。通过词袋模型(bag of words)对句子进行分词并向量化，形成D维向量，再输入网络中计算：

• One-Hot:
  One-Hot表示法的数值计算规则为：词语序列中出现的词语其数值为1，词语序列中未出现的词语其数值为0。对应关系如下图所示：

• Word2Vec:
  这个模型根据上下文的语境来推断出每个词的词向量。如果两个词在上下文的语境中，可以被互相替换，那么这两个词的距离就非常近。在自然语言中，上下文的语境对分析词语的意义是非常重要的。所以，这个模型的作用就是从一大堆句子（以Wikipedia为例）中为每个独一无二的单词进行建模，并且输出一个唯一的向量。Word2Vec模型的输出被称为一个嵌入矩阵。

• Tokenizer:
  Tokenizer 是keras中一个用于向量化文本，或将文本转换为序列的类。计算机在处理语言文字时，是无法理解文字的含义，通常会把一个词（中文单个字或者词组认为是一个词）转化为一个正整数，于是一个文本就变成了一个序列。Tokenizer 的核心任务就是做这个事情。本文将单词向量化用的方法就是此方法。

3.2 循环神经网络RNN（Recurrent Neural Networks）

在得到了神经网络的输入数据——词向量后，我们需要确定将要构建的神经网络。NLP数据的一个独特之处是它是时间序列数据。每个单词的出现都依赖于它的前一个单词和后一个单词。由于这种依赖的存在，我们使用循环神经网络来处理这种时间序列数据。

循环神经网络的结构和你之前看到的那些前馈神经网络的结构可能有一些不一样。前馈神经网络由三部分组成，输入层、隐藏层和输出层。

前馈神经网络和RNN之前的主要区别就是RNN考虑了时间的信息。在RNN中，句子中的每个单词都被考虑上了时间步骤。实际上，时间步长的数量将等于最大序列长度。

与每个时间步骤相关联的中间状态也被作为一个新的组件，称为隐藏状态向量h(t)。从抽象的角度来看，这个向量是用来封装和汇总前面时间步骤中所看到的所有信息。就像x(t)表示一个向量，它封装了一个特定单词的所有信息。

隐藏状态是当前单词向量和前一步的隐藏状态向量的函数。并且这两项之和需要通过激活函数来进行激活。

然而，RNN存在一个致命的缺点——即梯度消失的问题，很难处理长序列的数据。为了解决此问题，我们又引入了本文所用到的方法：LSTM。

3.3 长时间的短期记忆模型LSTM（Long Short-Term Memory）

为了解决RNN存在问题，后续人们对RNN做了改进，得到了RNN的特例LSTM，它可以避免常规RNN的梯度消失，因此在工业界得到了广泛的应用。LSTM模型是RNN的变体，它能够学习长期依赖，允许信息长期存在。

举个例子来讲：比如人们读文章的时候，人们会根据已经阅读过的内容来对后面的内容进行理解，不会把之前的东西都丢掉从头进行思考，对内容的理解是贯穿的。
传统的神经网络即RNN做不到这一点，LSTM是具有循环的网络，解决了信息无法长期存在的问题，在工业界普遍使用有良好的效果。

• RNN与LSTM之间的联系：
  RNN具有如下的结构，每个序列索引位置t都有一个隐藏状态h(t)：
  

  如果略去每层都有的o(t),L(t),y(t)，则RNN的模型可以简化成如下图的形式:
  

  可以看出h(t)由x(t)和h(t−1)得到。得到h(t)后一方面用于当前层的模型损失计算，另一方面用于计算下一层的h(t+1)。

  为了避免RNN的梯度消失，LSTM将tanh激活函数转为更为复杂的结构。LSTM的结构如下图：
  

  粉红色圆圈表示点向运算，如向量加法、点乘，而黄色框是学习神经网络层。 线的合并表示连接，而线的交叉表示其内容正在复制，副本将转到不同的位置。

• LSTM的工作原理：
  对于一个典型的RNN网络，隐藏状态向量对于第二句的存储信息量可能比第一句的信息量会大很多。但是LSTM，基本上就会判断哪些信息是有用的，哪些是没用的，并且把有用的信息在LSTM中进行保存。

  LSTM的单元根据输入数据x(t)，隐藏层输出h(t)。在这些单元中，h(t)的表达形式比经典的RNN网络会复杂很多。这些复杂组件分为四个部分：输入门、输出门、遗忘门和一个记忆控制器。
  

  每个门都将x(t)和h(t-1)作为输入，并且利用这些输入来计算一些中间状态。每个中间状态都会被送入不同的管道，并且这些信息最终会汇集到h(t)。这些门可以被认为是不同的模块，各有不同的功能。Ct是控制参数，控制什么样的值保留，什么样的值舍弃，输入门决定在每个输入上施加多少强调，遗忘门决定我们将丢弃什么信息，输出门根据中间状态来决定最终的h(t)。

  简要来说，LSTM 单元能够学习到识别重要输入（输入门作用），存储进长时状态，并保存必要的时间（遗忘门功能），并学会提取当前输出所需要的记忆。这也解释了 LSTM 单元能够在提取长时序列，长文本，录音等数据中的长期模式的惊人成功的原因。

4. 神经网络的搭建与分析

4.1数据集描述及导入

本次的数据集来自Kaggel上专门为情感分析提供的数据集。地址 https://www.kaggle.com/praveengovi/emotions-dataset-for-nlp

该数据集包含了三个文档

• 16000行的训练数据集：train.txt
• 2000行的测试数据集：test.txt
• 2000行的验证数据集：val.txt

通过这三个文档我们将建立机器学习模型。以下是train.txt的部分数据：

Eg: i didnt fell humiliated;sadness，这条数据中包含了：1. 句子的具体内容: i didnt fell humiliated； 2. 事先人为分类号的情绪标签: sadness。

导入并展示：

# 导入数据集
train = pd.read_csv('E:/大三下/机器学习/NLP情感分析/train.txt', sep=';', header=None)
# 重命名Dataframe列名
train.columns=['Sentence', 'Sentiment']
# 统计数据集中情感种类以及出现次数
train['Sentiment'].value_counts()
1
2
3
4
5
6

joy         5362
sadness     4666
anger       2159
fear        1937
love        1304
surprise     572
Name: Sentiment, dtype: int64
1
2
3
4
5
6
7

train
1