Python 文本挖掘淘宝客服日志挖掘_日志文本挖掘服务

作者：weixin_40725706 | 2024-02-25 12:39:08

踩

日志文本挖掘服务

本文没有使用特别高端的挖掘算法，也没有使用专用的第三方分词工具，是基于统计的原理进行分词和文章句子的统计的。基本逻辑如下：
1、导入文章，进行分句。
2、按照2个字一个词的规则，对统计的句子进行分词并统计。
3、对分得的词进行处理，去除词左右交接的组合，比如ABCD中，BC出现的频率高于AB、CD，则AB、CD在ABCD同时出现的句子中不应被视为词语，但如果在后续的句子中，存在BCDF，CD仍可以统计为词语。频数设一个阀值，小于该值的不视为词语。（本部分耗时较大，改进使用并行算法需要开销比较大的内存）
4、找出词语出现的句子。
5、找出词组出现的句子并统计。
经过以上的处理，基本能挖掘出淘宝客服日志中用户最关注的问题。本文使用的分词方法还可进一步用来建立词库，以供后续分词使用，因为很多分词系统都是收费的，本文的分词算法基本不会出现漏词的情况，即使是新词。下面是全部代码。

#0主目录
from time import time as time
import os

if __name__=='__main__':

    start=time();
    os.system('python '+ os.getcwd() + '\\1提取句子.py');
    os.system('python '+ os.getcwd() + '\\2分词-2字词1分词.py');
    os.system('python '+ os.getcwd() + '\\2分词-2字词2处理.py');
    os.system('python '+ os.getcwd() + '\\3词语匹配句子.py');
    os.system('python '+ os.getcwd() + '\\4词组匹配句子.py');
    print('Time used:',int((time()-start)/60*10)/10,'分钟')
1
2
3
4
5
6
7
8
9
10
11
12
13
14

#1提取句子
from time import time as time
import re
import xlrd
import threading
import pickle
from multiprocessing import Process
from multiprocessing import cpu_count
import os
import os.path
import xlwt
import sys
import operator

def func00():   #文件、文件夹操作

    try:
        kk=os.listdir(os.getcwd()+'\\数据输出');
        for j in kk:
            os.remove(os.getcwd()+'\\数据输出\\'+j)
        os.rmdir(os.getcwd()+'\\数据输出');  #删除 数据1 文件夹
    except:
        pass
    finally:
        print('程序开始运行，请勿删除文件！')
    cs=os.path.isdir(os.getcwd()+'\\数据输出'); #判断 数据输出 文件夹是否存在
    if cs==False:
        os.mkdir(os.getcwd()+'\\数据输出'); #新建 数据输出 文件夹

def func01():    #提取待处理文本

    try:
        fp=open(os.getcwd()+'\\十九大报告全文.txt','r',encoding='gb18030')
    except:
        print('本目录下未找到文件');sys.exit()
    wb1=[];
    for j in fp:
        line=''.join(j.split('\n'));
        if line != '':
            wb1.append(line);
    fp.close()
    wb2=func02(wb1)
    return wb2

def func02(wb1):    #按照特征符号分句子

    fh1=['。','！','？','.','!','?'];#分句特征
    for f in fh1:
        fh2=fh1.copy();fh2.remove(f);wb2=[];
        for j in wb1:
            line=j.split(f);
            for i in line:
                if i != '':
                    if i[len(i)-1:len(i)] not in fh2:
                        wb2.append(i+f);
                    else:
                        wb2.append(i);
        wb1=wb2.copy()
    func03(wb2)
    return wb2

def func03(wb2):    #文件输出
    #保存txt
    fp=open(os.getcwd()+'\\数据输出\\1 句子文件.txt','w',encoding='gb18030')
    for j in wb2:
        fp.write(j);fp.write('\n')
    fp.close()
    #保存dat
    fp=open(os.getcwd()+'\\数据输出\\1 句子文件.dat','wb');
    pickle.dump(wb2,fp);
    fp.close()

if __name__=='__main__':

    start=time();

    func00();
    func01();

    print('Time used:',int((time()-start)/60*10)/10,'分钟')
    #os.system("pause")
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82

#2分词-2字词1分词
from time import time as time
import re
import xlrd
import threading
import pickle
from multiprocessing import Process
from multiprocessing import cpu_count
import os
import os.path
import xlwt
import sys
import operator

def func01():    #提取句子

    fp=open(os.getcwd()+'\\数据输出\\1 句子文件.dat','rb');
    wb1=pickle.load(fp);
    fp.close()
    return wb1

def func02(wb1,zs):    #提取词语

    wb2=[];wb3=[];
    for j in wb1:
        if len(j)>=zs:
            for i in range(0,len(j)-zs+1):
                wb2.append(j[i:i+zs])
    #保存原始词语，用于后续筛选
    fp=open(os.getcwd()+'\\数据输出\\2 2字词语-1原始.dat','wb');
    pickle.dump(wb2,fp);
    fp.close();
    #筛选汉字词语
    wb3=[];pattern=re.compile(r'[\u4e00-\u9fa5]');
    for j in wb2:
        if len(pattern.findall(j))==len(j):
            wb3.append(j)
    #筛选唯一，并统计频数
    wb3.sort();k=0;wb4=[];
    for j in range(0,len(wb3)-1):
        k=k+1;
        if wb3[j]!=wb3[j+1]:
            wb4.append([wb3[j],k]);k=0;
    wb4.append([wb3[len(wb3)-1],k+1])

    #列表排序，降序
    wb4.sort(reverse=True,key=operator.itemgetter(1))
    print(len(wb4))
    return wb4

def func03(wb4):    #输出词语

    #保存词语
    fp=open(os.getcwd()+'\\数据输出\\2 2字词语-2汉字.dat','wb');
    pickle.dump(wb4,fp);
    fp.close()
    #输出词语
    fp=open(os.getcwd()+'\\数据输出\\2 2字词语-2汉字.txt','w',encoding='gb18030')
    for j in wb4:
        fp.write(j[0]);fp.write('\t');
        i=str(j[1]);fp.write(i);fp.write('\n')
    fp.close()

if __name__=='__main__':

    start=time();

    wb1=func01();
    n=2     #字数2
    wb4=func02(wb1,n);
    func03(wb4);

    print('Time used:',int((time()-start)/60*10)/10,'分钟')
    #os.system("pause")

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76

#2分词-2字词2处理
from time import time as time
import re
import xlrd
import threading
import pickle
from multiprocessing import Process
from multiprocessing import cpu_count
import os
import os.path
import xlwt
import sys
import operator

def func01():   #找出词语句中的左右词语

    #提取句子
    with open(os.getcwd()+'\\数据输出\\2 2字词语-1原始.dat','rb') as fp:
        wb1=pickle.load(fp)
    with open(os.getcwd()+'\\数据输出\\2 2字词语-2汉字.dat','rb') as fp:
        wb2=pickle.load(fp)

    wb3=[];
    for j in wb2:
        wb3.append(j[0])

    for j in wb3:
        for i in range(0,len(wb1)):
            if j==wb1[i]:
                if 0<i and i<len(wb1)-1:
                    if j[0:1]==wb1[i-1][1:2]:
                        wb1[i-1]='*'
                    if j[1:2]==wb1[i+1][0:1]:
                        wb1[i+1]='*'
                    continue
                elif i==0:
                    if j[1:2]==wb1[i+1][0:1]:
                        wb1[i+1]='*'
                    continue
                elif i==len(wb1)-1:
                    if j[0:1]==wb1[i-1][1:2]:
                        wb1[i-1]='*'
    #筛选汉字词语
    wb4=[];pattern=re.compile(r'[\u4e00-\u9fa5]')
    for j in wb1:
        if len(pattern.findall(j))==len(j):
            wb4.append(j)

    #筛选唯一，并统计频数
    wb4.sort();k=0;wb5=[];
    for j in range(0,len(wb4)-1):
        k=k+1;
        if wb4[j]!=wb4[j+1]:
            wb5.append([wb4[j],k]);k=0;
    wb5.append([wb4[len(wb4)-1],k+1])
    #列表排序，降序
    wb5.sort(reverse=True,key=operator.itemgetter(1))
    return wb5

def func02(wb5):    #输出词语

    #保存词语
    fp=open(os.getcwd()+'\\数据输出\\2 2字词语-3汉字.dat','wb');
    pickle.dump(wb5,fp);
    fp.close()
    #输出词语
    fp=open(os.getcwd()+'\\数据输出\\2 2字词语-3汉字.txt','w',encoding='gb18030')
    for j in wb5:
        fp.write(j[0]);fp.write('\t');
        i=str(j[1]);fp.write(i);fp.write('\n')
    fp.close()

if __name__=='__main__':

    start=time();

    wb5=func01();
    func02(wb5);    #输出

    print('Time used:',int((time()-start)/60*10)/10,'分钟')
    #os.system("pause")
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82

#3词语匹配句子
from time import time as time
import re
import xlrd
import threading
import pickle
from multiprocessing import Process
from multiprocessing import cpu_count
import os
import os.path
import xlwt
import sys
import operator

def func01(): #提取文件

    with open(os.getcwd()+'\\数据输出\\1 句子文件.dat','rb') as fp:
        wb1=pickle.load(fp)
    with open(os.getcwd()+'\\数据输出\\2 2字词语-3汉字.dat','rb') as fp:
        cy1=pickle.load(fp)
    return wb1,cy1

def func02(cy2,wb1,xhlb,j): #词语匹配句子

    wb2=[];kk=None;
    for j in xhlb:
        wb2.append([cy2[j]])
        for i in wb1:
            if cy2[j] in i:
                wb2[len(wb2)-1].append(i);
        if len(wb2[len(wb2)-1])<2: #句子数小于1的一律不要（第1个是词语，后面是句子）######################################
            wb2.pop();
    if len(wb2)==0:
        wb2=[['***','***']];
    fp=open(os.getcwd()+'\\数据1\\shuju'+ str(j+1) +'.dat','wb');
    pickle.dump(wb2,fp); #保存数据
    fp.close()

def func03(wb1,cy1): #并行进程，句子，词语

    k=int(cpu_count());    #CPU核心数
    print('CPU核心数：',k)
    cs=os.path.isdir(os.getcwd()+'\\数据1'); #判断 数据1 文件夹是否存在
    if cs==False:
        os.mkdir(os.getcwd()+'\\数据1');
    cy2=[];
    for j in cy1:
        if j[1]>10:             #筛选词语频数大于10##############################################################
            cy2.append(j[0])
    print('词语总数：',len(cy2));
    nrows=list(range(0,len(cy2)));  #生成序号列表
    xhlb=[];
    for j in range(k):              #CPU核心数k
        xhlb.append([])
    xh=True
    while xh:
        for j in range(k):
            xhlb[j].append(nrows.pop()) #按组分配序号
            if nrows==[]:
                xh=False;break
    p=[];
    for j in range(0,k):
        t=Process(target=func02,args=(cy2,wb1,xhlb[j],j));  #开启多进程，导入func03方法
        p.append(t);
    for j in p:
        j.start();
    print('启动并行进程数：',k);print('正在计算，请稍等...');
    for j in p:
        j.join();
    print('全部进程已结束');
    return k;

def func04(k): #reduce部分

    wb3=[];
    for j in range(0,k):    #读取数据
        try:
            fp=open(os.getcwd()+'\\数据1\\shuju'+ str(j+1) +'.dat','rb');
            wb3.extend(pickle.load(fp));
            fp.close()
        except:
            print(os.getcwd()+'\\数据1\\shuju'+ str(j+1) +'.dat','  文件读取异常')
    func05(); #删除过程文件
    func06(wb3); #输出文件
    return wb3

def func05(): #删除过程文件

    kk=os.listdir(os.getcwd()+'\\数据1');
    for j in kk:
        os.remove(os.getcwd()+'\\数据1\\'+j)
    os.rmdir(os.getcwd()+'\\数据1');  #删除 数据1 文件夹

def func06(wb3): #输出文件

    #输出 客户发言文本
    fp=open(os.getcwd()+'\\数据输出\\3 词语匹配句子.txt','w',encoding='gb18030')
    for j in wb3:
        for i in j:
            fp.write(i);fp.write('\n');
        fp.write('\n\n')
    fp.close()
    #保存数据
    fp=open(os.getcwd()+'\\数据输出\\3 词语匹配句子.dat','wb');
    pickle.dump(wb3,fp);
    fp.close()

if __name__=='__main__':

    start=time();

    wb1,cy1=func01();
    k=func03(wb1,cy1);      #进程数=CPU核心数
    wb3=func04(k);

    print('Time used:',int((time()-start)/60*10)/10,'分钟')
    #os.system("pause")
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118

#4词组匹配句子
from time import time as time
import re
import xlrd
import threading
import pickle
from multiprocessing import Process
from multiprocessing import cpu_count
import os
import os.path
import xlwt
import sys
import operator

def func01():    #读取数据

    fp=open(os.getcwd()+'\\数据输出\\3 词语匹配句子.dat','rb');
    wb1=pickle.load(fp);
    fp.close()
    return wb1

def func02(wb1,xhlb,ji): #词组匹配句子

    wb2=[];bj=None;
    for j in xhlb:
        for i in range(j+1,len(wb1)):
            if len(set(wb1[j][0]+wb1[i][0]))==len(wb1[j][0]+wb1[i][0]):
                wb2.append([wb1[j][0]+'+'+wb1[i][0]]);
                for k in wb1[i]: #提取句子
                    if wb1[j][0] in k:
                        wb2[len(wb2)-1].append(k);
                if len(wb2[len(wb2)-1])<2: #句子数小于1的一律不要（第1个是词语，后面是句子）######################################
                    wb2.pop();
    if len(wb2)==0:
        wb2=[['***','***']];
    fp=open(os.getcwd()+'\\数据2\\shuju'+ str(ji+1) +'.dat','wb');
    pickle.dump(wb2,fp); #保存数据
    fp.close()

def func03(wb1): #并行进程

    k=int(cpu_count()); #CPU核心数
    print('CPU核心数：',k)
    cs=os.path.isdir(os.getcwd()+'\\数据2'); #判断 数据2 文件夹是否存在
    if cs==False:
        os.mkdir(os.getcwd()+'\\数据2');
    nrows=list(range(0,len(wb1)));
    xhlb=[];
    for j in range(k):
        xhlb.append([])
    xh=True
    while xh:
        for j in range(k):
            xhlb[j].append(nrows.pop())
            if nrows==[]:
                xh=False;break
    p=[];
    for j in range(0,k):
        t=Process(target=func02,args=(wb1,xhlb[j],j)); #开启多进程，导入func02方法
        p.append(t);
    for j in p:
        j.start();
    print('启动并行进程数：',k);print('正在计算，请等待...');
    for j in p:
        j.join();
    print('全部进程已结束');
    return k;

def func04(k):  #reduce部分

    wb3=[];aa=[];
    for j in range(0,k):    #读取数据
        try:
            fp=open(os.getcwd()+'\\数据2\\shuju'+ str(j+1) +'.dat','rb');
            wb3.extend(pickle.load(fp));
            fp.close()
        except:
            print(os.getcwd()+'\\数据2\\shuju'+ str(j+1) +'.dat','  文件读取异常')
    #排序
    for j in range(0,len(wb3)):
        wb3[j].insert(0,len(wb3[j])-1);
    wb3.sort(reverse=True,key=operator.itemgetter(0));
    func05(); #删除过程文件
    func06(wb3); #输出文件
    return wb3

def func05(): #删除过程文件

    kk=os.listdir(os.getcwd()+'\\数据2');
    for j in kk:
        os.remove(os.getcwd()+'\\数据2\\'+j)
    os.rmdir(os.getcwd()+'\\数据2');  #删除 数据2 文件夹

def func06(wb3): #输出文件

    #保存词语
    fp=open(os.getcwd()+'\\数据输出\\4 词组匹配句子.dat','wb');
    pickle.dump(wb3,fp);
    fp.close()
    #输出词语
    fp=open(os.getcwd()+'\\数据输出\\4 词组匹配句子.txt','w',encoding='gb18030')
    for j in wb3:
        for i in j:
            fp.write(str(i));fp.write('\n')
        fp.write('\n\n')
    fp.close()

def func07(wb3):   #统计频数

    #新建xlsx文件
    w = xlwt.Workbook()
    ws = w.add_sheet('词组匹配句子统计表')
    ws.write(0,0,'词组');ws.write(0,1,'频数');
    x=1;y=0;
    for j in wb3:
        ws.write(x,0,j[1]);ws.write(x,1,str(j[0]));x=x+1;
    w.save(os.getcwd()+'\\数据输出\\4 词组匹配句子统计表.xls')
    return wb3

if __name__=='__main__':

    start=time();

    wb1=func01();
    k=func03(wb1);
    wb3=func04(k);
    func07(wb3);

    print('Time used:',int((time()-start)/60*10)/10,'分钟')
    #os.system("pause")
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131

需要把文本文件保存为txt格式。请忽略import部分，不想核对了。文件不要太大了，分词后处理的时候有点耗时，10M以内。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/weixin_40725706/article/detail/140871?site