​「Python大数据」VOC数据清洗

前言

本文主要介绍通过python实现数据清洗、脚本开发、办公自动化。读取voc数据，存储新清洗后的voc数据数据。

一、业务逻辑

• 读取voc数据采集的数据
• 批处理，使用jieba进行分词，去除停用词，清洗后的评论存储到新的列中
• 保存清洗后的数据到新的Excel文件中

二、具体产出

三、执行脚本

python clean.py
1

四、脚本

# voc数据清洗
import pandas as pd
import jieba
import jieba.posseg as pseg
from collections import Counter
import re

fileName = "100070291457" # sku

# 加载停用词
with open('stopwordsfull', 'r', encoding='utf-8',errors='replace') as f:
    stopwords = [line.strip() for line in f.readlines()]

# 加载自定义词典
jieba.load_userdict("luyouqi.txt")  # luyouqi.txt is your custom dictionary

# 读取Excel文件中的所有表格
xls = pd.ExcelFile('fil
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17