python数据分析之利用多种机器学习方法实现文本分类、情感预测_python文本分析_对给定数据集进行文本情感分析,输出文本情感分析预测结果

输出结果：

所有的网页已经下载到了本地，开始筛选信息。。。。
当前页面爬取完成
当前页面爬取完成
当前页面爬取完成
当前页面爬取完成
当前页面爬取完成
当前页面爬取完成
当前页面爬取完成
当前页面爬取完成
当前页面爬取完成
当前页面爬取完成
当前页面爬取完成
当前页面爬取完成
当前页面爬取完成

（2）部分数据展示

2、数据预处理

（1）中文分词

爬取到的评论，使用Python爬取了中文数据集之后，首先需要对数据集进行中文分词处理。由于英文中的词与词之间是采用空格关联的，按照空格可以直接划分词组，所以不需要进行分词处理，而中文汉字之间是紧密相连的，并且存在语义，词与词之间没有明显的分隔点，所以需要借助中文分词技术将语料中的句子按空格分割，变成一段段词序列。使用中文分词技术及Jiaba中文分词工具。

分词后的评论并不是所有的词都与文档内容相关，往往存在一些表意能力很差的辅助性词语，比如中文词组“我们”、“的”、“可以”等，英文词汇“a”、“the”等。这类词在自然语言处理或数据挖掘中被称为停用词（Stop Words），它们是需要进行过滤的。通常借用停用词表或停用词字典进行过滤，这里所用的停用词表可以在文末进行获取。

import pandas as pd

import numpy as np

import matplotlib.pyplot as plt

import seaborn as sns

import networkx as nx

plt.rcParams[‘font.sans-serif’] = [‘KaiTi’]  #指定默认字体 SimHei黑体

plt.rcParams[‘axes.unicode_minus’] = False   #解决保存图像是负号’

import jieba

stop_list  = pd.read_csv(“停用词.txt”,index_col=False,quoting=3,sep=“\t”,names=[‘stopword’], encoding=‘utf-8’)

#Jieba分词函数

def txt_cut(juzi):

lis=[w for w in jieba.lcut(juzi) if w not in stop_list.values]

return (" ").join(lis)

df=pd.read_csv(‘E:/工作/硕士/data.csv’,encoding=“ANSI”)

df[‘cutword’]=df[‘PL’].astype(‘str’).apply(txt_cut)

df=df[[‘PL’,‘cutword’]]

df

输出结果：