devbox
Cpp五条
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

Day 9: TextBlob——对文本进行情感分析_用textblob如何给大段文章做情感分析

作者：Cpp五条 | 2024-04-25 02:50:36

赞

踩

用textblob如何给大段文章做情感分析

又是“30天学习30种新技术”的一天，我打算暂时把JavaScript放一放，然后学下用Python进行文本处理。本文的重点是情感分析。我在几年前就对情感分析产生了兴趣，当时我想写一个分析与电影有关的推的应用。这个应用将帮助我决定是否看某部电影。

我 google 了一番，最后发现 [Naive Bayes classifier]( Naive Bayes classifier) 可以解决这个问题。当时我只会Java语言，所以我写了一个定制的实现，用过一段时间这个应用。我太懒了，没有提交代码，所以我的机子挂掉之后，代码和应用丢失了。现在我把我所有的代码都提交到 github，我有大概 200 个公开的仓库 :)

这里我打算介绍下Python的TextBlob。我们首先讲一些基础知识，然后开发一个使用TextBlob API的Flask应用。

TextBlob是什么？

TextBlob是一个用Python编写的开源的文本处理库。它可以用来执行很多自然语言处理的任务，比如，词性标注，名词性成分提取，情感分析，文本翻译，等等。你可以在官方文档阅读TextBlog的所有特性。

为什么我要关心TextBlob？

我学习TextBlob的原因如下：

  1. 我想开发需要进行文本处理的应用。我们给应用添加文本处理功能之后，应用能更好地理解人们的行为，因而显得更加人性化。文本处理很难做对。TextBlob站在巨人的肩膀上（NTLK），NLTK是创建处理自然语言的Python程序的最佳选择。

  2. 我想学习下如何用 Python 进行文本处理。

安装 TextBlob

开始 TextBlob 之前，我们首先需要安装 Python 和 virtualenv。本文中使用 Python 2.7。

官方文档里提到了很多安装 TextBlob 的方法。 我们将使用pip install。给不知道pip的开发者，pip是Python的包管理器。我们可以从官网安装pip。

运行如下命令可以安装 TextBlob：

  1. mkdir myapp
  2. cd myapp
  3. virtualenv venv --python=python2.7
  4. . venv/bin/activate
  5. pip install textblob
  6. curl https://raw.github.com/sloria/TextBlob/master/download_corpora.py | python

以上命令将创建myapp目录，并通过virtualenv激活Python 2.7，然后安装 textblob 包，最后下载必需的NLTK语料库。

GitHub 仓库

今天的demo应用的代码可从github取得。

应用

demo应用跑在 OpenShift 上 http://showmesentiments-t20.rhcloud.com/ 它是一个非常简单的使用 TextBlob 情感分析 API 的例子。当用户输入的时候，他将看到他输入的内容是正面的（绿色）、负面的（红色），还是中性的（橙色）。


https://www.openshift.com/sites/default/files/images/Sentiment%20Analysis%20Demo.png

我们将开发一个使用REST API的简单的Flask应用。如果你不了解Flask，你可以参考我以前写的关于Flask的文章。

接着我们将安装 Flask 框架。首先我们激活 virtualenv，然后使用 pip 安装 Flask。

  1. . venv/bin/activate
  2. pip install flask

在我以前写的关于 Flask 的文章里已经提到，用Flask写基于REST的web服务相当方便。在 myapp 目录下创建一个 app.py 文件。内容如下：

  1. from flask import Flask , jsonify, render_template
  2. from textblob import TextBlob
  3.  
  4. app = Flask(__name__)
  5.  
  6. @app.route('/')
  7. @app.route('/index')
  8. def index():
  9.     return render_template('index.html')
  10.  
  11. @app.route('/api/v1/sentiment/<message>')
  12. def sentiment(message):
  13.     text = TextBlob(message)
  14.     response = {'polarity' : text.polarity , 'subjectivity' : text.subjectivity}
  15.     return jsonify(response)
  16.  
  17. if __name__ == "__main__":
  18.     app.run(debug=True)

以上的代码做了这些事：

  1. 从flask包导入了Flask类和jsonify、 render_template函数。
  2. 从textblob包导入了TextBlob类。
  3. 定义了/和index的路由。因此，如果用户向/和/index发出GET请求，index.html将渲染。
  4. 定义了/api/v1/sentiment/。这是预留位置，其中将包括用户需要运行情感分析的文本。我们创建了一个TextBlob实例，并将其传递给消息。然后我们得到消息的对立性和主体性，然后创建一个json对象并返回该对象。
  5. 最后，我们使用python app.py命令启动一个开发服务器。我们同时开启了调试Debug=True。这样当意料之外的情况出现时，浏览器就可以提供一个交互式的调试器。开启调试的另一个好处是，改动文件 之后，服务会自动重新加载。我们可以让调试器在后台运行，然后继续在我们的应用上工作。这提供了高效的开发环境。

index()函数渲染 html 文件。 在 myapp目录下创建一个名为模板的新文件夹，然后创建index.html

  1. mkdir templates
  2. touch templates/index.html

将下面代码复制到index.html中。这段代码使用Twitter Bootstrap来增加样式。我们同时使用了jQuery，在keyup事件时进行REST调用。如果键值为退格、制表符、回车、左、右、上、下，那么不进行REST调用。

  1. <html>
  2. <head>
  3.     <title>Do sentiment analysis on the text</title>
  4.     <meta name="viewport" content="width=device-width, initial-scale=1.0">
  5.     <link rel="stylesheet" type="text/css" href="static/css/bootstrap.css">
  6.     <style type="text/css">
  7.     body {
  8.       padding-top:60px;
  9.       padding-bottom: 60px;
  10.     }
  11.   </style>
  12. </head>
  13. <body>
  14.  
  15. <div class="navbar navbar-inverse navbar-fixed-top">
  16.       <div class="container">
  17.         <div class="navbar-header">
  18.           <button type="button" class="navbar-toggle" data-toggle="collapse" data-target=".navbar-collapse">
  19.             <span class="icon-bar"></span>
  20.             <span class="icon-bar"></span>
  21.             <span class="icon-bar"></span>
  22.           </button>
  23.           <a class="navbar-brand" href="#">Run Sentiment Analysis</a>
  24.         </div>
  25.  
  26.     </div>
  27.   </div>
  28.  
  29. <div class="container">
  30.     <div class="row">
  31.         <div class="col-md-6">
  32.             <textarea class="form-control" rows="3" placeholder="Write your text. Minimum length 10 characters"></textarea>   
  33.         </div>
  34.         <div class="col-md-6">
  35.             <p id="result"></p>
  36.         </div>
  37.     </div>
  38.  
  39. </div>
  40.  
  41.  
  42. <script type="text/javascript" src="static/js/jquery.js"></script>
  43. <script type="text/javascript">
  44.     $("textarea").keyup(function(e){
  45.         console.log('keycode '+e.keyCode);
  46.         switch (e.keyCode) {
  47.             case 8:  // Backspace
  48.                 console.log('backspace'+e);
  49.             case 9:  // Tab
  50.                 console.log('Tab');
  51.             case 13: // Enter
  52.                 console.log('Enter');
  53.             case 37: // Left
  54.                 console.log('Left');
  55.             case 38: // Up
  56.                 console.log('Up');
  57.             case 39: // Right
  58.                 console.log('Right');
  59.             case 40: // Down
  60.                 console.log('Down');
  61.             break;
  62.  
  63.             default:
  64.             var input = $('textarea').val();
  65.             $('#result').removeClass("alert alert-warning");
  66.             $('#result').removeClass("alert alert-danger");
  67.             $('#result').removeClass("alert alert-success");
  68.             if (input.length > 10){
  69.  
  70.             $.get('/api/v1/sentiment/'+input,function(result){
  71.  
  72.                 if(result.polarity < 0.0){
  73.  
  74.                     $('#result').addClass("alert alert-danger")   .text(input);
  75.                 } else if( result.polarity >= 0.0 && result.polarity <= 0.5){
  76.                     $('#result').addClass("alert alert-warning").text(input);
  77.                 }else{
  78.                     $('#result').addClass("alert alert-success").text(input);
  79.                 }
  80.  
  81.             })
  82.         }
  83.     }
  84.  
  85.  
  86.     });
  87.  
  88. </script>
  89. </body>
  90. </html>

你可以从我的github 仓库 中取得 js 和 css 文件。

部署到云端

部署到云端前，先要完成一些配置工作。

  1. 注册一个OpenShift账号。注册是完全免费的，Red Hat给每个用户三枚免费的Gear,可以用Gear运行你的应用。在写作此文的时候，每个用户能免费使用总共 1.5 GB 内存和 3 GB 硬盘空间。

  2. 安装 rhc客户端工具。rhc是ruby gem，因此你的机子上需要装有 ruby 1.8.7以上版本。 只需输入 sudo gem install rhc即可安装 rhc 。如果你已经安装过了，确保是最新版。运行sudo gem update rhc即可升级。关于配置rhc命令行工具的详细信息，请参考： https://openshift.redhat.com/community/developers/rhc-client-tools-install

  3. 使用 rhc 的 setup 命令配置你的 OpenShift 账号。这个命令会帮助你创建一个命名空间，同时将你的ssh公钥上传至 OpenShift 服务器。

输入如下命令即可将应用部署到OpenShift：

  1. ; rhc create-app day9demo python-2.7 --from-code
  2. https://github.com/shekhargulati/day9-textblob-demo-openshift.git --timeout 180

这个命令将创建应用，设置公开的DNS，创建私有git仓库，最后利用你的Github仓库中的代码来部署应用。应用将被部署到 http://day9demo-{domain-name}.rhcloud.com 。请用你的账户下的域名替换 {domain-name}. 本文中的应用跑在 http://showmesentiments-t20.rhcloud.com/

今天到此为止。多回馈撒～

原文 Day 9: TextBlob--Finding Sentiments in Text
翻译 SegmentFault

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Cpp五条/article/detail/482864
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号