大学生毕业设计——微博情感分析系统

前言

信息技术的飞速进步促使互联网成为现代生活的重要组成部分，伴随而来的是信息量的激增。最新发布的《中国互联网发展状况统计报告》揭示，截至2023年底，我国网民数量已经突破10.92亿，同比增加2480万，显示出77.5%的互联网普及率。这一数据不仅反映了数字化生活方式的深入人心，也标志着我国在全球信息化进程中的重要地位和持续增长的网络活跃度，说明网络技术在当代社会扮演了不可或缺的角色。据国务院发布的《新一代人工智能发展规划》所示，人工智能技术的飞速进步预示着对人类社会生活和全球格局的深远影响。

互联网时代的来临，使得用户在网络上的活 动方式发生了重大变化，由被动接收信息逐渐转 变为主动获取并产生内容。随着移动终端的高速发展，社交媒体已深度渗透到人们的日常生活中。数据显示，国内社交平台如微博和知乎的月活跃用户数量分别达到5.73亿和1.01亿。购物平台方面，淘宝和拼多多的月活跃用户数量分别为8.74亿和8.24亿。用户通过在线撰写、发帖和评论，分享对特定对象的观点和看法。这种趋势反映了互联网时代人们主观态度的多样性和文本数据的丰富性，为分析社会动态提供了宝贵的资源。

情感分析技术在现代信息处理领域扮演着至关重要的角色。通过情感倾向性分析和意见挖掘，能够从用户意见和文本中提取出有价值的信息。无论是文本、音频还是图像，这些技术都能在文档级、句子级和方面级进行全面的情感极性分析。粗层次的情感倾向分析能够快速定位用户的总体情绪，而细粒度的情感分类则能提供更为精准的见解。通过这些分析，企业可以更加准确地进行知识发现，优化对象和实体的管理，从而提升业务决策的有效性。

而微博情感分析系统利用先进的自然语言处理（NLP）技术和深度学习算法，对微博文本进行情感倾向性分析。该系统通过训练大规模的中文文本数据集，能够识别并区分正面、负面和中性等不同情感极性的微博，为市场调研、舆情分析、新闻报道和学术研究等领域提供有力支持。

一、数据获取可行性分析和需求分析：

该部分由于篇幅过长，直接贴图，详细内容见报告。

1.1 数据获取可行性分析

1.2 需求分析

二、算法描述，问题总结

系统分别尝试了基于情感词典的情感分析方法、基于朴素贝叶斯的情感分析方法以及基于BERT的情感分析方法，最终系统算法采用的是基于BERT的情感分析方法，因为整体对比下来，基于BERT的情感分析最为准确以及稳定。

2.1 基于情感词典的情感分析方法

• 算法描述： 这种方法基于一个预先定义的情感词典，该词典包含单词或短语以及它们对应的情感极性（如积极、消极或中性）。对于一个给定的文本，首先对文本进行分词，然后匹配每个词或短语与情感词典中的条目。根据匹配到的情感词的数量以及它们的极性，计算文本的情感得分，通常是将积极词的数量减去消极词的数量，并考虑它们的权重或距离。最后，根据得分判断文本的情感极性，例如，如果得分大于某个阈值，则判定为积极情感，小于某个阈值则判定为消极情感，介于两者之间则判定为中性情感。
• 优点： 实现简单，易于理解和解释。不需要大量的标注数据即可构建情感词典。
• 缺点： 依赖于情感词典的覆盖范围和准确性，可能无法处理词典之外的新词或特定语境下的情感表达。忽略了语境和词语之间的关系，无法捕捉复杂的语义和情感。对于多义词或含糊词存在歧义，可能会导致误判。

以下是基于情感词典的情感分析算法原理流程图：

2.2 基于朴素贝叶斯的情感分析方法

• 算法描述： 朴素贝叶斯分类器基于贝叶斯定理和特征条件独立假设，用于分类文本到预定义的情感类别中（如积极、消极或中性）。对于一个给定的文本，首先需要将文本表示为特征向量，常用的方法包括词袋模型或 TF-IDF 等。接着，利用贝叶斯定理计算每个类别的后验概率，即给定文本的特征向量条件下，该文本属于每个类别的概率。最后，选择具有最高后验概率的类别作为文本的情感极性。
• 优点： 算法简单，计算效率高，适用于大规模文本分类任务。对于较小规模的数据集也能表现良好，不容易过拟合。
• 缺点： 忽略了特征之间的相关性，对于包含大量特征的高维数据集可能表现不佳。对于文本中的长程依赖关系和语义理解能力较弱。对于稀疏数据或特征空间中存在的零概率问题，可能需要进行平滑处理。
  以下是基于朴素贝叶斯的情感分析算法原理流程图：
  

2.3 基于BERT的情感分析方法

• 算法描述： BERT（Bidirectional Encoder Representations from Transformers）是一种预训练的语言模型，具有强大的语义理解能力和上下文敏感性。在情感分析任务中，可以使用预训练的BERT模型作为特征提取器，将文本映射到高维的语义空间中。首先，对文本进行预处理和标记化，并将其输入到预训练的BERT模型中。接着，利用BERT模型的输出来表示文本的语义信息，通常通过截取BERT模型的某些层的隐藏状态或使用特定的池化策略来获取文本的表示。最后，将文本表示作为特征输入到分类器（如逻辑回归、支持向量机等）中，进行情感分类。
• 优点： 能够充分利用大规模无标注文本数据进行预训练，学习到丰富的语义信息和上下文理解能力。在许多自然语言处理任务中取得了 state-of-the-art 的性能。能够处理复杂的语义和上下文依赖关系，对于长文本或包含多义词的文本有较好的表现。
• 缺点： 需要大量的标注数据用于微调（fine-tuning），特别是在资源受限的领域。模型参数较多，训练和推理过程需要较大的计算资源。对于低资源语言或特定领域的文本，可能存在泛化能力不足的问题。

后续详细介绍BERT算法的篇幅过长，详细见报告。

三、使用工具声明

在本次系统实现过程中，我使用了多种工具和技术，为了更好地开发和管理项目。首先，我选择了PyCharm 2023.1版本作为主要的编译工具。PyCharm是一款功能强大的Python集成开发环境（IDE），它提供了丰富的功能和工具，包括代码编辑器、调试器、版本控制集成等，帮助我更高效地编写和管理Python代码。

另外，作为数据库管理工具，我选用了Navicat Premium 15版本。Navicat是一款跨平台的数据库管理和开发工具，支持多种数据库系统，包括MySQL、PostgreSQL、Oracle等。它提供了直观的用户界面和丰富的功能，如数据编辑、查询构建、数据同步等，使得我能够轻松地管理数据库结构和数据内容。

在项目开发中，我采用了Vue 2.6.1版本作为前端框架。Vue是一款流行的JavaScript框架，用于构建用户界面和单页面应用（SPA）。它具有简洁易用的语法、响应式数据绑定和组件化开发等特性，能够帮助我快速地开发出具有良好用户体验的前端界面。

Web的后端框架，我选择了FastAPI 0.111.0版本。FastAPI是一款基于Python的现代化Web框架，它结合了快速开发的特性和高性能的优势。借助FastAPI，我能够快速构建出RESTful API，并且享受到自动文档生成、数据验证、异步处理等功能的便利。

而数据库由于设计很多表的操作，所以也需要后端代码进行插入、删除、更新表的操作。因此我选择了Node.js框架作为数据后端的代码，“Node.js” 是一个基于 Chrome V8 引擎的 JavaScript 运行环境，Node.js 使用了一个事件驱动、非阻塞式 I/O 的模型，使其轻量又高效。在 Node.js 中，有很多框架可用于构建应用程序，最常见的包括 Express.js、Koa.js、Sails.js 等。这些框架都提供了一系列的工具和模块，简化了 Node.js 应用程序的开发过程。Express.js 是其中最受欢迎和广泛使用的框架之一，用于构建 Web 应用程序和 API。

同时，在深度学习模型方面，我使用的框架是Pytorch 2.0版本，python版本为3.8。在深度学习领域，PyTorch 是一个备受推崇的框架，用于构建、训练和部署深度学习模型。它具有许多优点，包括灵活性、易用性和良好的性能。而Python 是一种高级编程语言，被广泛应用于各种领域，包括Web开发、数据科学、人工智能、自然语言处理等。它于1991年由Guido van Rossum创建，以简洁、易读的语法著称，被称为“优雅”编程语言之一。

最后，在数据存储方面，我使用了MySQL 8.0.32版本作为主要的关系型数据库管理系统。MySQL是一款开源的关系型数据库，具有稳定性高、性能优异等特点，适用于各种规模的数据存储和管理需求。通过MySQL，我能够有效地存储和管理项目中的数据，确保数据的安全和可靠性。
使用工具和技术声明概述如下：

• 工具
  • 编译工具: PyCharm 2023.1
  • 数据库管理工具: Navicat Premium 15
• 技术框架
  • 前端框架: Vue 2.6.1
  • 后端框架: FastAPI 0.111.0、Node.js
  • 数据库: MySQL 8.0.32
  • 深度学习框架: PyTorch
  • Python版本: 3.8

四、详细设计

4.1 爬虫策略设计

4.2 数据预处理

4.3 语料库构建

4.4 算法模型选择

4.5 整体系统搭建

4.6 数据库设计

五、模型实验结果

六、程序运行结果

（1）注册
（2）登录

（3）微博热搜榜Top10获取

（4）单条文本情感分析

（5）批量文本情感分析

（6）微博内容爬取

（7）数据分析显示

（8）用户分布图

（9）情感分析记录

本系统可以充当毕业设计，不免费，需要的加V~