自然语言处理之文本情感分析_sen_word, not_word, degree_word = classify_words(l

1、导语

深度学习近些年取得突破性的发展，目前深度学习技术在人工智能领域应用最广泛的两方面就是CV（计算机视觉）和NLP（自然语言处理），在本次夏虹老师的《人工智能》课程上，我和我的小组成员选择将NLP作为我们的讨论主题，虽然我们的研究方向和NLP并不相关，但是想通过这次课的机会去了解人工智能的其他方面，并对其中的情感分析方向进行稍微深入一点的探究，撰写结课报告，对自己的收获进行记录，最后为此门课程画下完美的句号。

2、什么是NLP

上网查资料，首先要知道什么是NLP，简单来说即是计算机接受用户自然语言形式的输入。并在内部通过人类所定义的算法进行加工、计算等系列操作，以模拟人类对自然语言的理解，并返回用户所期望的结果。正如机械解放人类的双手一样，自然语言处理的目的在于用计算机代替人工来处理大规模的自然语言信息。它是人工智能、计算机科学、信息工程的交叉领域，涉及统计学、语言学等的知识。由于语言是人类思维的证明，故自然语言处理是人工智能的最高境界，被誉为“人工智能皇冠上的明珠”[1]。 人工智能中最难处理和解决的问题应该就是怎么处理好人的语言，尤其是像我们中国这些博大精深的汉语，让计算机处理起来可就更困难了。

可以说只要有文本的地方就会有自然语言处理，在社会科学领域，关系网络挖掘、社交媒体计算、人文计算等。在法律领域，中国裁判文书网上就有几千万公开的裁判文书，此外还有丰富的流程数据、文献数据、法律条文等，且文本相对规范，该领域已经有不少公司在做。在医疗健康领域，除了影像信息，还有大量的体检数据、临床数据、诊断报告等，同样也是NLP大展身手的地方。在教育领域，智能阅卷、机器阅读理解等都可以运用NLP技术。

3、什么是NLP中的情感分析

情感分析或观点挖掘是对人们对产品、服务、组织、个人、问题、事件、话题及其属性的观点、情感、情绪、评价和态度的计算研究。早在2000年，情感分析就成为NLP中最活跃的研究领域之一。它在数据挖掘、Web 挖掘、文本挖掘和信息检索方面得到了广泛的研究[2]。微博微信等社交网络的相继出现，使人们可以记录生活中的各种观点，人们情感相关的数据爆炸式增多，在数据量上来看给情感分析的研究做了铺垫。

情感分析可以怎么用呢？比如，酒店网站需要提取用户对酒店的评价，然后策略性的进行显示，比如把负面的评价排的稍微往后面一点，总不能上来满屏都是脏乱差吧！一些电商类的网站根据情感分析提取正负面的评价关键词，形成商品的标签。基于这些标签，用户可以快速知道大众对这个商品的看法比如。一些新闻类的网站，根据新闻的评论可以知道这个新闻的热点情况，是积极导向，还是消极导向，从而进行舆论新闻的有效控制。

4、情感分析的方法

情感分析的方法大概分为两部分：一种是基于情感词典的方法，通俗点讲就是我们把需要分析的语句进行处理将其变为一个个的词语，对照着一本“词典”（这本词典上有各种词语的情感属性、情感值等），我们对照着一个个匹配，将情感值迭代，得出情感得分进行判断，此方法实属有些“人工化”。另一种方法则是基于机器学习的方法，我们通过收集大量文本，利用SVM、贝叶斯等一系列机器学习算法获得分类器，对分类器进行训练，再把需要判断的数据输入到训练后的分类器中，输出相应分类概率，这种方式较为“智能化”。

4.1基于情感词典的文本情感分析

传统的基于情感词典的文本情感分类，是模拟我们人的大脑思维方式而产生的一种方法。我们大脑首先通过学习来记忆一些基本词汇，如否定词语有“不”，积极词语有“喜欢”、“爱”，消极词语有“讨厌”、“恨”等，从而在大脑中形成一个基本的语料库。然后，我们再对输入进大脑的句子进行最直接的拆分，看看我们所记忆的词汇表中是否存在相应的词语，然后根据这个词语的类别来判断情感，比如“我喜欢数学”，“喜欢”这个词在我们所记忆的积极词汇表中，所以我们判断它具有积极的情感。

图4-1 人脑对情感的分析示意图[3]