python商品评论数据采集与分析可视化系统 Flask框架 requests爬虫 NLP情感分析 毕业设计 源码_爬虫数据处理nlp

一、项目介绍

python商品评论数据采集与分析可视化系统

Flask框架、MySQL数据库、 requests爬虫、可抓取指定商品评论、Echarts可视化、评论多维度分析、NLP情感分析、LDA主题分析、Bayes评论分类

1、关于数据的说明：  小米手机京东旗舰店，爬取的评论数据

2、贝叶斯分类算法：准确率=93.49%

二、项目截图

三、补充说明

一、nlp情感分析

数值1表示正向评论，数值0表示负向评论

二、情感分析

  对人们对产品、服务、组织、个人、问题、事件、话题及其属性的观点、情 感、情绪、评价和态度的计算研究。文本情感分析（Sentiment Analysis）是自然语言处理（NLP）方法中常见的应用，也是一个有趣的基本任务，尤其是以提炼文本情绪内容为目的的分类。它是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。

  本文将介绍情感分析中的情感极性（倾向）分析。所谓情感极性分析，指的是对文本进行褒义、贬义、中性的判断。在大多应用场景下，只分为两类。例如对于“喜爱”和“厌恶”这两个词，就属于不同的情感倾向。

·最常用于微博、微信、用户论坛等语境下的短文本分析

·大量的文本预处理技术需求[ 网页解析，文本抽取，正则表达式等 ]

·情感分析的特殊性

·文本长度相对较短

·语境比较独特

·需要提取的信息量较为特别(·否定词，歧义词可能导致明显误判·新词出现速度很快·分词很难做到尽善尽美)

# 1.基于词袋模型的分析

数据概况:

抓取自购物网站的正向、负向评论各约1万条。涵盖了数码、书籍、食品等多个领域。

基于词典进行情感分析     情感字典(sentiment dictionary)

·还行1 *不错2 ·不好-2太差了-3

·否定词的处理:前向搜索若干词条，以进行翻转

·情感得分的计算

·加载情感字典为Dict  

·遍历句子中的词条，将对应的分值相加

·分值之和作为该句的情感得分  

·所有句子的情感得分的平均值作为该文本的情感得分

基于词袋模型进行情感分析

·用金标准得到已准确分类的训练样本

·以词袋模型为基础，将情感分析完全看作是文本分类的一个简单实例来进行处理

·可按照分类进行预测，也可按照情感分值进行预测·需要对模型准确率和速度进行权衡

·效果较词典模型更好，但仍然忽略了上下文的关联信息

·可以考虑使用bigram或者trigram方式抽取词条，以同时考虑否定词和程度副词的影响

·可以考虑使用关键词进行模型拟合

四、其他项目学习