垃圾短信识别python步骤详细_python数据挖掘第三篇-垃圾短信文本分类

文本分类总体上包括8个步骤。数据探索分析-》数据抽取-》文本预处理-》分词-》去除停用词-》文本向量化表示-》分类器-》模型评估.重要python库包括numpy(数组),pandas(用于处理结构化数据),matplotlib(绘制词云，便于直观表示),sklearn(提供大量分类聚类算法库).

1.数据探索分析

(1)获取大量未经过处理的文档，且标记好文档所属类型。

(2)给各个文档分配唯一的Id,并将之前用文字标记的分类类别用离散数字代替。例如 分类标记为[‘正常短信’，‘垃圾短信’]，将其离散表示为[0,1].

(3)将Id,文档内容，标记 作为列，样本个数作为行，将这些文档读入一个数组中。形式为:[ [Id1,content1,label1], ...,[Id_n,content_n,label_n] ]

代码示例：

import pandas as pd

data = pd.read_csv(csv文件名，header=None) # 读入csv文件，不读入列名

data.columns = ['Id','Content','Label']

1.1DataFrame中获取数据的一些方法：data.loc[] # 通过字符串索引的方式获取指定行列数据 例如：

data.loc[0:2,'content'] # 获取第0,1,2行的content列 的数据，【注意】：0:2获取的是0,1,2行，这一点和一般的切片不相同

data.loc[[0,2],['content','label']] # 通过列表指定行列

data.iloc[] # 通过数字索引方