​「Python大数据」VOC数据统计聚类

前言

本文主要介绍通过python实现数据聚类、脚本开发、办公自动化。读取voc数据，聚类voc数据。

一、业务逻辑

• 读取voc数据采集的数据
• 批处理，使用jieba进行分词，去除停用词，词频统计聚类
• 保存聚类后的数据写入到.txt文件中

二、具体产出

三、执行脚本

python learning.py
1

四、脚本

# VOC数据聚类
import pandas as pd
import jieba
import jieba.posseg as pseg
from collections import Counter

fileName = "100034532823" # sku

# 加载数据
df = pd.read_excel('clean/cleaned_voc'+fileName+'.xlsx')

# 创建一个 Counter 对象来存储词频统计结果
counter = Counter()

# 加载停用词
with open('stopwordsfull', 'r', encoding='utf-8',errors='replace') as f:
    stopwords = [line.strip() for line in f.readlines()]
    # print(stopwords
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17