python词频可视化词云_数据爬虫、词频统计可视化、词云绘制、语句情感审查——飞桨PaddleHub实战...

爱奇艺《青春有你2》评论数据爬取,并对评论中的词频进行统计以及对评论进行健康情感审查

随着《青春有你2》的热播，你有没有被那些漂亮的小姐姐吸引呢？作为一个发际线已经到后脑勺的程序员，小姐姐的舞姿、歌声那些都是浮云。你想不想知道每期节目，观众评论最多的内容是什么？评论的内容是否健康呢？通过这篇博客，我将手把手教你如何实现。

需要的配置和准备工作

1、中文分词需要jieba

2、词云绘制需要wordcloud

3、可视化展示中需要的中文字体

4、网上公开资源中找一个中文停用词表

5、根据分词结果自己制作新增词表

6、准备一张词云背景图(必须是白底的图片，可用hub抠图实现)

7、paddlehub配置

pip install jieba

pip install wordcloud

#安装模型

hub install porn_detection_lstm==1.1.0

pip install --upgrade paddlehub

环境配置成功后，可以看到：

一、到爱奇艺上对评论的内容进行爬取

1、找到我们爬取数据所需要的URL

既然是词频统计，肯定是爬取的越多越好。然而，一个页面加载的评论信息量太少，在爱奇艺的中，怎么找出未加载完的评论呢？在这里告诉你一个能快速找到大量评论的方法：在爱奇艺界面单击右键——>检查——>Notebook

当我们在爱奇艺页面点击加载更多评论时，在notebook中我们会看到有个get_comments的请求，由于一个网页界面呈现的内容有限，这个请求就是拉取更多内容。

点开该请求，可以看到：

其中，Request URL就是我们在爬取数据时所需要的 。通过多次点击加载更多评论，我发现每个get_comments请求中的Request URL只有last_id这个参数在变化，其他都没有变动。所以，我们可以直接用一个循环不停的改动last_id这个参数，就可以一直获取加载的更多评论。

2、导入我们开发需要的模块

from __future__ import print_function

import requests

import json

import re #正则匹配

import time #时间处理模块

import jieba #中文分词

import numpy as np

import matplotlib

import matplotlib.pyplot as plt

import matplotlib.font_manager as font_manager

from PIL import Image

from wordcloud import WordCloud #绘制词云模块

import paddlehub as hub

3、评论数据爬取

#请求爱奇艺评论接口，返回response信息

def getMovieinfo(url):

'''

请求爱奇艺评论接口，返回response信息

参数 url: 评论的url

:return: response信息

'''

session = requests.Session()

headers = {

"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36",

"Accept": "application/json",

"Origin": "http://m.iqiyi.com",

"Accept-Encoding": "gzip, deflate, br",

"Accept-Language": "zh-CN,zh;q=0.9",

"Connection": "keep-alive",

"Host": "sns-comment.iqiyi.com",

"Referer": "https://www.iqiyi.com/v_19ryfkiv8w.html",

}

response = session.get(url, headers = headers)

if response.status_code == 200:

return response.text

return None

#解析json数据，获取评论

def saveMovieInfoToFile(lastId, arr):

'''

解析json数据，获取评论

参数 lastId:最后一条评论ID arr:存放文本的list

:return: 新的lastId

'''

url = "https://sns-comment.iqiyi.com/v3/comment/get_comments.action?agent_type=118&agent_version=9.11.5&authcookie=null&business_type=17&content_id=15068699100&hot_size=0&last_id="

url += str(lastId)

responseTxt = getMovieinfo(url)

responseJson = json.loads(responseTxt)

comments = responseJson['data']['comments']

for val in comments:

# print(val.keys())

if 'content' in val.keys():

# print(val['content'])

arr.append(val['content'])

lastId = str(val['id'])

return lastId

二、对爬取下来的数据进行处理

1、正则化去除评论中的特殊字符、表情等

def clear_special_char(content):

'''

正则处理特殊字符

参数 content:原文本

return: 清除后的文本

'''

s = re.sub(r'?(.+?)>|$nbsp;|\t|\r', '', content)

s = re.sub(r'\n', ' ', s)

s = re.sub(r'\*', '\\*', s)

s = re.sub('[^\u4e00-\u9fa5^a-z^A-Z^0-0]', '', s)

s = re.sub('[\001\002\003\004\005\006\007\x08\x09\x0a\x0b\x0c\x0d\x0e\x0f\x10\x11\x12\x13\x14\x15\x16\x17\x18\x19]','',s)

s = re.sub('[a-zA-Z]', '', s)

s = re.sub('^\d+(\.\d+)?$','',s)

return s

python 中有一个表情库emoji，也可以通过该库来处理表情字符。在这里我们就直接用正则化来处理。

2、对语句进行分词处理

由于中文语言的特殊性，不同位置进行分词导致语句的语义词义都有很大的差别，我们可以使用Python提供专门的分词库jieba，也可也以自己来定义一个分词规则‘add_words.text’。

def fenci(text):

'''

利用jieba进行分词

参数 text:需要分词的句子或文本

return：分词结果

'''

# jieba.load_userdict('add_words.text')

seq = jieba.lcut(text, cut_all = False)

return seq

3、创建停用词表

在中文语句中，通常会有一些语气词‘吧、啊、阿、哎、哎呀、哎哟、唉’，转折词等，如果我们不将这种词剔除，将会对我们词频统计产生干扰。

def stopwordslist(file_path):

'''

创建停用词表

参数 file_path:停用词文本路径

return：停用词list

'''

stopwords = [line.strip() for line in open(file_path, encoding='UTF-8').readlines()]

return stopwords

三、统计词频并可视化展示

1、统计词频：

def movestopwords(sentence, stopwords, counts):

'''

去除停用词,统计词频

参数 file_path:停用词文本路径 stopwords:停用词list counts: 词频统计结果

return：None

'''

out = []

for word in sentence:

if word not in stopwords:

if len(word) != 1:

counts[word] = counts.get(word,0) + 1

return None

2、绘制出词频直方图

def drawcounts(counts, num):

'''

绘制词频统计表

参数 counts: 词频统计结果 num:绘制topN

return：none

'''

x_aixs = []

y_aixs = []

c_order = sorted(counts.items(),key=lambda x:x[1],reverse=True)

for c in c_order[:num]:

x_aixs.append(c[0])

y_aixs.append(c[1])

matplotlib.rcParams['font.sans-serif'] = ['SimHei']

matplotlib.rcParams['axes.unicode_minus'] = False

plt.bar(x_aixs,y_aixs)

plt.title('词频统计结果')

plt.show()

3、绘制词云图

def drawcloud(word_f):

'''

根据词频绘制词云图

参数 word_f:统计出的词频结果

return：none

'''

cloud_mask = np.array(Image.open('cloud.png'))

#忽略显示的词

st = set(['东西‘, ‘这是'])

#生成wordcloud对象

wc = WordCloud(background_color = 'white',

# mask = cloud_mask,

max_words = 150,

font_path='./fonts/simhei.ttf',

min_font_size = 10,

max_font_size = 100,

width = 400,

relative_scaling = 0.3,

stopwords = st)

wc.fit_words(word_f)

wc.to_file('pic.png')

cloud.png为词云背景图，背景色为白色的一张图片：

四、对评论内容进行健康分析

这里主要用百度飞桨的porn_detection_lstm模型，进行情感的判断。

def text_detection(text,file_path):

'''

使用hub对评论进行内容分析

return：分析结果

'''

porn_detection_lstm = hub.Module(name='porn_detection_lstm')

f = open('aqy.txt','r',encoding='utf-8')

for line in f:

if len(line.strip()) == 1:

continue

else:

test_text.append(line)

f.close()

input_dict = {'text':test_text}

results = porn_detection_lstm.detection(data=input_dict,use_gpu=True,batch_size = 1)

for index, item in enumerate(results):

if item['porn_detection_key'] == 'porn':

print(item['text'],':',item['porn_probs'])

五 、最终结果

#评论是多分页的，得多次请求爱奇艺的评论接口才能获取多页评论,有些评论含有表情、特殊字符之类的

#num 是页数，一页10条评论，假如爬取1000条评论，设置num=100

if __name__ == "__main__":

num = 60

lastId = 0

arr = []

with open('aqy.txt','a',encoding='utf-8') as f:

for i in range(num):

lastId = saveMovieInfoToFile(lastId, arr)

time.sleep(0.5)

for item in arr:

Item = clear_special_char(item)

if Item.strip()!='':

try:

f.write(Item+'\n')

except Exception as e:

print('含有特殊字符')

print('共爬取评论：',len(arr))

f = open('aqy.txt','r',encoding='utf-8')

counts = {}

for line in f:

words = fenci(line)

stopwords = stopwordslist('cn_stopwords.txt')

movestopwords(words,stopwords,counts)

# print(counts)

drawcounts(counts,10)

drawcloud(counts)

f.close()

file_path = 'aqy.txt'

test_text= []

text_detection(test_text,file_path)

这里的num控制爬取数据的循环次数，在这里num=60，我们大概可以爬取1700多条评论数据。

1、词频直方图结果展示：

2、词云展示：

3、健康情感分析结果，可用于内容审查

可以看出，当评论为“色色色”之类的时，不健康指数很高。

至此，整个过程已经结束。

六、说明

主函数中：

........

stopwords = stopwordslist('cn_stopwords.txt')

........

file_path = 'aqy.txt'

需要自己提供的文件：

cn_stopwords.txt为停用词表，我们可以根据常见的停用词进行原文本停用词的剔除；aqy.txt为进行健康审查时的评论文本。