用python对我和女票的聊天记录生成心形词云_词云爱心背景

前言

最近看到一些利用python制作词云的教程，突然想到用自己和女友的聊天记录做一个词云，看看平时我俩最常说的都是啥，然后用爱心的形状展示出来，以下是成品:

由于导出的记录只有最近两个星期的，再加上这两个星期我女票她都在备考，因此聊天内容并不是特别多，数据可能不是特别有代表性，但至少也能看看了。

数据处理

首先我们从QQ中导出txt格式的聊天记录，并在python中打开

f = open('/Users/aaron/文档/My one and only.txt')
fl = f.readlines()
1
2

我们来查看一下数据：

['\ufeff消息记录（此消息记录为文本格式，不支持重新导入）\n',
 '\n',
 '================================================================\n',
 '消息分组:My one and only\n',
 '================================================================\n',
 '消息对象:xxx\n',
 '================================================================\n',
 '\n',
 '2018-01-12 下午4:00:40 xxx\n',
 '好丑操\n',
 '\n',
 '2018-01-12 下午4:00:49 xxx\n',
 '好臭\n',
 '\n',
 '2018-01-12 下午4:00:50 xxx\n',
 '好臭\n',
 '\n',
 '2018-01-12 下午4:01:27 xxx\n',
 '我吃牛肉干\n',
 '\n',
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

可以看出前7行是头信息，下边的数据按照：

• 时间，
• 单句聊天记录，
• ‘\n’

每三行为一组，于是我们首先删去头信息

del fl[:8]

接下来我们只需要从下标为1开始，步长为3的聊天记录的数据：

fl = fl[1::3]

其中 [1::3] 的意思为下标为1开始，步长为3的切片，比如：

>>> a = [0,1,2,3,4,5,6,7,8,9]
>>> a[1::3]
[1, 4, 7]
>>> a[::3]
[0, 3, 6, 9]
>>> a[:5:2]
[0, 2, 4]
1
2
3
4
5
6
7

之后的数据变为一个全部由聊天记录组成的列表：

['好丑操\n',
 '好臭\n',
 '好臭\n',
 '我吃牛肉干\n',
 '去去味\n',
 '。。。。\n',
 ...
 ]
1
2
3
4
5
6
7
8

我们将其组成一个字符串，使用 ' '.join(list) 可以将一个列表组合成一个以空格为间隔的字符串：

strf = ' '.join(fl)

观察数据，发现记录中有非常多的杂质，例如 /扯一扯，/糊脸, [放大招], [表情] 等，我们需要将这些杂质都去掉，于是导入re正则表达式模块：

import re
1

两种杂质，一种是以 / 开头，一种是 [xx] 形式，我们用两种正则表达式找出并转换为集合去掉重复元素

list1 = re.findall(r'/.{2,3}', strf)
list2 = re.findall(r'\[.+?\]', strf)
set1 = set(list1)
set2 = set(list2)
1
2
3
4

我们可以看到：

然后去掉这些类似的无用信息，因为有些出现频率太高会影响最后结果

for item in set1:
    strf = strf.replace(item, '')
for item in set2:
    strf = strf.replace(item, '')
1
2
3
4

还有要自己手动去掉两条：

strf = strf.replace('请使用最新版本手机QQ查看', '')
strf = strf.replace('请使用最新版手机QQ体验新功能', '')
1
2

数据干净之后就可以制作词云了。

jieba库

我们利用 jieba 库对记录进行分词操作，能将一个句子分为单个词语。我们对jieba做一个简单的了解，以下为官方文档中的一部分：

jieba.cut 方法接受三个输入参数: 需要分词的字符串；cut_all 参数用来控制是否采用全模式；HMM 参数用来控制是否使用 HMM 模型

代码示例:

# encoding=utf-8
import jieba

seg_list = jieba.cut("我来到北京清华大学", cut_all=True)
print("Full Mode: " + "/ ".join(seg_list))  # 全模式

seg_list = jieba.cut("我来到北京清华大学", cut_all=False)
print("Default Mode: " + "/ ".join(seg_list))  # 精确模式

seg_list = jieba.cut("他来到了网易杭研大厦")  # 默认是精确模式
print(", ".join(seg_list))

seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所，后在日本京都大学深造")  # 搜索引擎模式
print(", ".join(seg_list))
1
2
3
4
5
6
7
8
9
10
11
12
13
14

输出：

【全模式】: 我/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学

【精确模式】: 我/ 来到/ 北京/ 清华大学

【新词识别】：他, 来到, 了, 网易, 杭研, 大厦    (此处，“杭研”并没有在词典中，但是也被Viterbi算法识别出来了)

【搜索引擎模式】： 小明, 硕士, 毕业, 于, 中国, 科学, 学院, 科学院, 中国科学院, 计算, 计算所, 后, 在, 日本, 京都, 大学, 日本京都大学, 深造
1
2
3
4
5
6
7

若相对jieba进行更深的了解，可以 点击此处

wordcloud库

我们使用wordcloud包生成词云图，首先了解一下其用法：

class wordcloud.WordCloud(font_path=None, width=400, height=200, margin=2, ranks_only=None, prefer_horizontal=0.9,mask=None, scale=1, color_func=None, max_words=200, min_font_size=4, stopwords=None, random_state=None,background_color='black', max_font_size=None, font_step=1, mode='RGB', relative_scaling=0.5, regexp=None, collocations=True,colormap=None, normalize_plurals=True)
1

font_path : string //字体路径，需要展现什么字体就把该字体路径+后缀名写上，如：font_path = '黑体.ttf'

width : int (default=400) //输出的画布宽度，默认为400像素

height : int (default=200) //输出的画布高度，默认为200像素

prefer_horizontal : float (default=0.90) //词语水平方向排版出现的频率，默认 0.9 （所以词语垂直方向排版出现频率为 0.1 ）

mask : nd-array or None (default=None) //如果参数为空，则使用二维遮罩绘制词云。如果 mask 非空，设置的宽高值将被忽略，遮罩形状被 mask 取代。除全白（#FFFFFF）的部分将不会绘制，其余部分会用于绘制词云。如：bg_pic = imread('读取一张图片.png')，背景图片的画布一定要设置为白色（#FFFFFF），然后显示的形状为不是白色的其他颜色。可以用ps工具将自己要显示的形状复制到一个纯白色的画布上再保存，就ok了。

scale : float (default=1) //按照比例进行放大画布，如设置为1.5，则长和宽都是原来画布的1.5倍。

min_font_size : int (default=4) //显示的最小的字体大小

font_step : int (default=1) //字体步长，如果步长大于1，会加快运算但是可能导致结果出现较大的误差。

max_words : number (default=200) //要显示的词的最大个数

stopwords : set of strings or None //设置需要屏蔽的词，如果为空，则使用内置的STOPWORDS

background_color : color value (default=”black”) //背景颜色，如background_color='white',背景颜色为白色。

max_font_size : int or None (default=None) //显示的最大的字体大小

mode : string (default=”RGB”) //当参数为“RGBA”并且background_color不为空时，背景为透明。

relative_scaling : float (default=.5) //词频和字体大小的关联性

color_func : callable, default=None //生成新颜色的函数，如果为空，则使用 self.color_func

regexp : string or None (optional) //使用正则表达式分隔输入的文本

collocations : bool, default=True //是否包括两个词的搭配

colormap : string or matplotlib colormap, default=”viridis” //给每个单词随机分配颜色，若指定color_func，则忽略该方法。



fit_words(frequencies)  //根据词频生成词云
generate(text)  //根据文本生成词云
generate_from_frequencies(frequencies[, ...])   //根据词频生成词云
generate_from_text(text)    //根据文本生成词云
process_text(text)  //将长文本分词并去除屏蔽词（此处指英语，中文分词还是需要自己用别的库先行实现，使用上面的 fit_words(frequencies) ）
recolor([random_state, color_func, colormap])   //对现有输出重新着色。重新上色会比重新生成整个词云快很多。
to_array()  //转化为 numpy array
to_file(filename)   //输出到文件
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46

了解了这两个包之后，我们开始正式制作词云。

制作词云图

首先导入所需要的库：

import matplotlib.pyplot as plt
import jieba
import wordcloud
1
2
3

然后利用词云进行分词操作，并将生成的列表合并成字符串：

word_list = jieba.cut(strf, cut_all=True)
word = ' '.join(word_list)
1
2

之后利用wordcloud包，注意一定要加上中文字体的路径，因为wordcloud默认是英文字体，并不支持中文，我们只需自己指定字体即可，我这里使用的是宋体，并且指定背景颜色是白色。

wc = wordcloud.WordCloud(font_path='/Library/Fonts/Songti.ttc', background_color='white').generate(word)
1

最后使用matplotlib进行绘制：

plt.imshow(wc)
plt.axis('off')
plt.show()
1
2
3

词云图就生成好了：

心形词云

为了生成心形的词云，我们首先找一张心形的图片：

然后：

from scipy.misc import imread
1

加上mask参数后再次制作词云：

pic = imread('/Users/aaron/Pictures/aixin.png')
wc = wordcloud.WordCloud(mask=pic, font_path='/Library/Fonts/Songti.ttc', width=1000, height=500, background_color='white').generate(word)

plt.imshow(wc)
plt.axis('off')
plt.show()
1
2
3
4
5
6

心形词云图诞生！

赶紧学一招然后发给自己的女朋友吧！

或许不是最优方法，欢迎指导。

欢迎光临我的博客 www.hhyz.me

代码

最后附上全部代码：

import re
import matplotlib.pyplot as plt
import jieba
import wordcloud
from scipy.misc import imread


# 数据处理
f = open('/Users/aaron/文档/My one and only.txt')   # 改成自己的聊天记录文件
fl = f.readlines()
del fl[:8]
fl = fl[1::3]
strf = ' '.join(fl)
list1 = re.findall(r'/.{2,3}', strf)
list2 = re.findall(r'\[.+?\]', strf)
set1 = set(list1)
set2 = set(list2)
strf = strf.replace('请使用最新版本手机QQ查看', '')
strf = strf.replace('请使用最新版手机QQ体验新功能', '')
for item in set1:
    strf = strf.replace(item, '')
for item in set2:
    strf = strf.replace(item, '')

# 制作词云
word_list = jieba.cut(strf, cut_all=True)
word = ' '.join(word_list)
pic = imread('/Users/aaron/Downloads/aixin.png')    
wc = wordcloud.WordCloud(mask=pic, font_path='/Library/Fonts/Songti.ttc', width=1000, height=500, background_color='white').generate(word)

plt.imshow(wc)
plt.axis('off')
plt.show()

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34