python数据分析之利用多种机器学习方法实现文本分类、情感预测_python文本分析

       大家好，我是带我去滑雪！

       文本分类是一种机器学习和自然语言处理（NLP）任务，旨在将给定的文本数据分配到预定义的类别或标签中。其目标是为文本数据提供自动分类和标注，使得可以根据其内容或主题进行组织、排序和分析。文本分类在各种应用场景中广泛应用，包括情感分析、垃圾邮件过滤、新闻分类、推荐系统等。
       文本分类的关键步骤包括：

• 数据准备：准备训练集和测试集的文本数据，每个文本数据都经过标记或分类。
• 特征提取：从文本数据中提取有用的特征来表示文本。常见的特征提取方法包括词袋模型（Bag-of-Words Model）、TF-IDF（Term Frequency-Inverse Document Frequency）、词嵌入（Word Embeddings）等。
• 训练模型：使用已标记的训练数据来训练分类模型。常见的机器学习算法包括朴素贝叶斯（Naive Bayes）、支持向量机（Support Vector Machines，SVM）、决策树（Decision Trees）、随机森林（Random Forests）等。最近，深度学习方法如卷积神经网络（Convolutional Neural Networks，CNN）和循环神经网络（Recurrent Neural Networks，RNN）也被广泛应用于文本分类任务。
• 模型评估：使用预留的测试数据对训练好的模型进行评估，计算分类模型的准确性、精确度、召回率等指标。
• 预测和应用：使用已训练的模型对新的未标记文本数据进行分类和预测。

       本期首先利用python抓取百度贴吧中的评论获得文本数据，再对文本数据进行中文分词、数据清洗、特征提取、TF-IDF权重计算等数据预处理，再进行一定的数据分析和数据可视化，最后运用朴素贝叶斯、神经网络、支持向量机、随机森林、逻辑回归、K近邻、决策树、梯度提升共计8种机器学习对文本数据进行分类。

目录

1、抓取百度贴吧评论获取文本数据

（1）代码

（2）部分数据展示

2、数据预处理

（1）中文分词

（2）文本情感打分

（3）将文本数据转化为向量

（4）计算TF-IDF权重

 3、数据分析与可视化

（1）统计得分区间数量

（2）得分区间数据可视化

（3）绘制词云图

（4）关键词TOP10

（5）计算积极评论与消极评论数量并数据可视化

4、使用8种机器学习对文本数据进行分类

（1）随机划分，按总样本数的20%划分，即测试集（784个）与训练集（3135个）

（2）调用模型，并对比测试集精度

---

1、抓取百度贴吧评论获取文本数据

（1）代码

import requests

import time

from bs4 import BeautifulSoup

def get_html(url):

    try:

        kv = {'user-agent':'Mozilla/4.0'} #伪装客户端

        r = requests.get(url,headers = kv,timeout=30)

        r.raise_for_status()

        r.encoding = 'UTF-8'

        #print(r.text[:1000])

        return r.text

    except:

        return "ERROR"

def get_content(url):

    comments = [] 

    html = get_html(url)

    soup = BeautifulSoup(html,'lxml')

    #with open('b.txt','a+',encoding='utf-8') as f1:

            #f1.write（soup.prettify()）

    liTags = soup.find_all('li', attrs={'class': 'j_thread_list clearfix thread_item_box'})

    for li in liTags:

        comment = {} 

        try:

            comment['title'] = li.find('a',attrs={'class':'j_th_tit'}).text.strip()