当前位置:   article > 正文

毕业设计:python新闻数据采集分析系统 情感分析 舆情分析 可视化 Django框架 vue框架 机器学习(附源码+论文)✅_数据可视化django+vue论文

数据可视化django+vue论文

博主介绍:✌全网粉丝10W+,前互联网大厂软件研发、集结硕博英豪成立工作室。专注于计算机相关专业毕业设计项目实战6年之久,选择我们就是选择放心、选择安心毕业✌感兴趣的可以先收藏起来,点赞、关注不迷路✌

毕业设计:2023-2024年计算机毕业设计1000套(建议收藏)

毕业设计:2023-2024年最新最全计算机专业毕业设计选题汇总

1、项目介绍

技术栈:
Python语言、django框架、 vue框架、 scrapy爬虫框架、 jieba分词、 nlp算法、 爬虫抓取
机器学习、朴素贝叶斯算法、TextRank算法、情感分类、情感分析

功能:
新闻列表 新闻详情 新闻分类 新闻搜索
新闻摘要抽取 关键词分析 情感分析 朴素贝叶斯算法 词性分析
新闻数据爬虫、爬虫新闻数据直接存储到数据库
后台新闻数据管理、用户管理

2、项目界面

(1)新闻数据分析

在这里插入图片描述

(2)新闻详情页
在这里插入图片描述

(3)新闻数据浏览
在这里插入图片描述

(4)新闻词性分析

在这里插入图片描述

(5)后台管理
在这里插入图片描述

3、项目说明

技术栈:
Python语言、django框架、 vue框架、 scrapy爬虫框架、 jieba分词、 nlp算法、 爬虫抓取
机器学习、朴素贝叶斯算法、TextRank算法、情感分类、情感分析

功能:
新闻列表 新闻详情 新闻分类 新闻搜索
新闻摘要抽取 关键词分析 情感分析 朴素贝叶斯算法 词性分析
新闻数据爬虫、爬虫新闻数据直接存储到数据库
后台新闻数据管理、用户管理

新闻数据爬取情感分析系统是一个基于Python语言和相关技术栈开发的系统。它主要包括以下功能:

  1. 新闻列表:展示新闻的标题、摘要和发布日期等信息。
  2. 新闻详情:点击新闻标题可以查看新闻的详细内容。
  3. 新闻分类:对新闻进行分类,使用户能够按照不同主题浏览新闻。
  4. 新闻搜索:用户可以通过关键词搜索新闻,快速找到感兴趣的内容。
  5. 新闻摘要抽取:通过TextRank算法对新闻内容进行摘要抽取,提供用户快速了解新闻的概要。
  6. 关键词分析:使用jieba分词工具对新闻内容进行分词,并提取关键词,帮助用户了解新闻的重点内容。
  7. 情感分析:使用nlp算法对新闻内容进行情感分析,判断新闻的情感倾向。
  8. 朴素贝叶斯算法:利用朴素贝叶斯算法进行新闻分类和情感分析。
  9. 词性分析:对新闻内容进行词性标注,帮助用户了解词语的语法属性。
  10. 新闻数据爬虫:使用scrapy爬虫框架对新闻网站进行数据抓取,获取最新的新闻数据。
  11. 爬虫抓取:将爬虫抓取到的新闻数据直接存储到数据库中,方便后续分析和展示。
  12. 后台新闻数据管理:提供后台管理界面,方便管理员对新闻数据进行管理和维护。
  13. 用户管理:提供用户管理功能,包括用户注册、登录、权限管理等。

通过以上功能,新闻数据爬取情感分析系统可以帮助用户快速浏览和搜索新闻,并提供关键词分析、情感分析等功能,帮助用户更好地理解和分析新闻内容。

4、核心代码


# -*- coding: utf-8 -*-
from __future__ import unicode_literals

from ..sim.bm25 import BM25


class TextRank(object):

    def __init__(self, docs):
        self.docs = docs
        self.bm25 = BM25(docs)
        self.D = len(docs)
        self.d = 0.85
        self.weight = []
        self.weight_sum = []
        self.vertex = []
        self.max_iter = 200
        self.min_diff = 0.001
        self.top = []

    def solve(self):
        for cnt, doc in enumerate(self.docs):
            scores = self.bm25.simall(doc)
            self.weight.append(scores)
            self.weight_sum.append(sum(scores)-scores[cnt])
            self.vertex.append(1.0)
        for _ in range(self.max_iter):
            m = []
            max_diff = 0
            for i in range(self.D):
                m.append(1-self.d)
                for j in range(self.D):
                    if j == i or self.weight_sum[j] == 0:
                        continue
                    m[-1] += (self.d*self.weight[j][i]
                              / self.weight_sum[j]*self.vertex[j])
                if abs(m[-1] - self.vertex[i]) > max_diff:
                    max_diff = abs(m[-1] - self.vertex[i])
            self.vertex = m
            if max_diff <= self.min_diff:
                break
        self.top = list(enumerate(self.vertex))
        self.top = sorted(self.top, key=lambda x: x[1], reverse=True)

    def top_index(self, limit):
        return list(map(lambda x: x[0], self.top))[:limit]

    def top(self, limit):
        return list(map(lambda x: self.docs[x[0]], self.top))


class KeywordTextRank(object):

    def __init__(self, docs):
        self.docs = docs
        self.words = {}
        self.vertex = {}
        self.d = 0.85
        self.max_iter = 200
        self.min_diff = 0.001
        self.top = []

    def solve(self):
        for doc in self.docs:
            que = []
            for word in doc:
                if word not in self.words:
                    self.words[word] = set()
                    self.vertex[word] = 1.0
                que.append(word)
                if len(que) > 5:
                    que.pop(0)
                for w1 in que:
                    for w2 in que:
                        if w1 == w2:
                            continue
                        self.words[w1].add(w2)
                        self.words[w2].add(w1)
        for _ in range(self.max_iter):
            m = {}
            max_diff = 0
            tmp = filter(lambda x: len(self.words[x[0]]) > 0,
                         self.vertex.items())
            tmp = sorted(tmp, key=lambda x: x[1] / len(self.words[x[0]]))
            for k, v in tmp:
                for j in self.words[k]:
                    if k == j:
                        continue
                    if j not in m:
                        m[j] = 1 - self.d
                    m[j] += (self.d / len(self.words[k]) * self.vertex[k])
            for k in self.vertex:
                if k in m and k in self.vertex:
                    if abs(m[k] - self.vertex[k]) > max_diff:
                        max_diff = abs(m[k] - self.vertex[k])
            self.vertex = m
            if max_diff <= self.min_diff:
                break
        self.top = list(self.vertex.items())
        self.top = sorted(self.top, key=lambda x: x[1], reverse=True)

    def top_index(self, limit):
        return list(map(lambda x: x[0], self.top))[:limit]

    def top(self, limit):
        return list(map(lambda x: self.docs[x[0]], self.top))


  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84
  • 85
  • 86
  • 87
  • 88
  • 89
  • 90
  • 91
  • 92
  • 93
  • 94
  • 95
  • 96
  • 97
  • 98
  • 99
  • 100
  • 101
  • 102
  • 103
  • 104
  • 105
  • 106
  • 107
  • 108
  • 109

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/649931
推荐阅读
相关标签