数据分析与挖掘：电商产品评论数据情感分析_基于文本挖掘的电商评论情感分析代码

1. 背景与挖掘目标

• 项目为《Python 数据分析与挖掘实战》第 15 章：电商产品评论数据情感分析。参考了书中的源代码，并补充了机械压缩去词实现。
• 挖掘目标为评论文本数据中提取有价值的内容

2. 分析方法与过程

2.1 数据抽取

'''读取数据'''
import pandas as pd
import numpy as np

inputfile = 'chapter15/demo/data/huizong.csv'
data = pd.read_csv(inputfile, encoding='utf-8')
data.head()
1
2
3
4
5
6

'''抽取美的的评论'''
outputfile = 'chapter15/demo/tmp2/meidi.txt'
data = data[['评论']][data['品牌'] == '美的']
data.to_csv(outputfile, index=False, header=False)
data.head()
1
2
3
4

2.2 评论预处理

1. 文本去重

'''文本去重'''
outputfile = 'chapter15/demo/tmp2/meidi_1.txt'
l1 = len(data)
data = pd.DataFrame(data['评论'].unique(), columns=data.columns)
l2 = len(data)
data.to_csv(outputfile, index=False, header=False, encoding='utf-8')
print('删除了%s条评论' % (l1 - l2))
1
2
3
4
5
6

删除了2725条评论
1

data.head()

2. 机械压缩去词，可以删除评论开头和结尾重复的词语，如“为什么为什么为什么安装费这么贵”压缩为“为什么安装费这么贵”，“真的挺好挺好挺好挺好”压缩为“真的挺好”

'''定义机械压缩去词函数'''

def compress(string):
    string = string.strip()    # 删除换行符
    str_list = list(string)    # 分隔字符为列表
    s1 = [str_list[0]]    # 初始化 s1 列表为第一个字符
    s2 = []
    del_idx 
1
2
3
4
5
6
7