devbox
盐析白兔
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

最简数据挖掘|垃圾邮件分类_预测电子邮件的垃圾邮件 文本挖掘

作者：盐析白兔 | 2024-06-16 06:09:48

赞

踩

预测电子邮件的垃圾邮件 文本挖掘

目录

一、数据介绍

二、文本预处理

1、预处理

2、划分训练、测试集

三、特征构建

1、tf-词频统计特征

2、tf-idf统计特征

三、模型构建及评估

四、划重点

少走10年弯路

一、数据介绍

        数据源自最简数据挖掘系列，Email英文的邮件内容，其中Label列ham为正常邮件、spam为垃圾邮件。数据获取见文末

图片

        统计邮件是否为垃圾邮件的标签分布如下，可以看到4458样本中有592条垃圾邮件

图片

二、文本预处理

1、预处理

        处理简写、小写化、去除停用词、词性还原

  1. from nltk.stem import WordNetLemmatizer
  2. from nltk.corpus import stopwords  
  3. from nltk.tokenize import sent_tokenize
  4. import nltk
  5.  
  6. def replace_abbreviation(text):
  7.     
  8.     rep_list=[
  9.         ("it's", "it is"),
  10.         ("i'm", "i am"),
  11.         ("he's", "he is"),
  12.         ("she's", "she is"),
  13.         ("we're", "we are"),
  14.         ("they're", "they are"),
  15.         ("you're", "you are"),
  16.         ("that's", "that is"),
  17.         ("this's", "this is"),
  18.         ("can't", "can not"),
  19.         ("don't", "do not"),
  20.         ("doesn't", "does not"),
  21.         ("we've", "we have"),
  22.         ("i've", " i have"),
  23.         ("isn't", "is not"),
  24.         ("won't", "will not"),
  25.         ("hasn't", "has not"),
  26.         ("wasn't", "was not"),
  27.         ("weren't", "were not"),
  28.         ("let's", "let us"),
  29.         ("didn't", "did not"),
  30.         ("hadn't", "had not"),
  31.         ("waht's", "what is"),
  32.         ("couldn't", "could not"),
  33.         ("you'll", "you will"),
  34.         ("i'll", "i will"),
  35.         ("you've", "you have")
  36.     ]
  37.     result = text.lower()
  38.     for word_replace in rep_list:
  39.         result=result.replace(word_replace[0],word_replace[1])
  40.     
  41.     return result
  42.  
  43. def drop_char(text):
  44.     result=text.lower()
  45.     result=re.sub('[^\w\s]',' ',result) # 去掉标点符号、特殊字符
  46.     result=re.sub('\s+',' ',result) # 多空格处理为单空格
  47.     return result
  48.  
  49. def stemed_words(text,stop_words,lemma):
  50.     
  51.     word_list = [lemma.lemmatize(word, pos='v') for word in text.split() if word not in stop_words]
  52.     result=" ".join(word_list)
  53.     return result
  54.  
  55. def text_preprocess(text):
  56.     
  57.     if pd.isnull(text):
  58.         return None
  59.  
  60.     stop_words = stopwords.words("english")
  61.     lemma = WordNetLemmatizer()
  62.     
  63.     result=replace_abbreviation(text)
  64.     result=drop_char(result)
  65.     result=stemed_words(result,stop_words,lemma)
  66.     return result

2、划分训练、测试集

  1.  
  2. test_index=list(df.sample(int(df.shape[0]*0.7)).index)
  3. df['label']=np.where(df.index.isin(test_index),'test','train')
  4. df['label'].value_counts()

三、特征构建

1、tf-词频统计特征

  1. def tf_init_params():
  2.     params_count={
  3.         'analyzer': 'word',  # 取值'word'-分词结果为词级、'char'-字符级(结果会出现he is，空格在中间的情况)、'char_wb'-字符级(以单词为边界)，默认值为'word'
  4.         'binary': False,  # boolean类型，设置为True，则所有非零计数都设置为1.（即，tf的值只有0和1，表示出现和不出现）
  5.         'decode_error': 'strict',
  6.         'dtype': np.float64, # 输出矩阵的数值类型
  7.         'encoding': 'utf-8',
  8.         'input': 'content', # 取值filename，文本内容所在的文件名；file，序列项必须有一个'read'方法，被调用来获取内存中的字节；content，直接输入文本字符串
  9.         'lowercase': True, # boolean类型，计算之前是否将所有字符转换为小写。
  10.         'max_df': 1.0, # 词汇表中忽略文档频率高于该值的词；取值在[0,1]之间的小数时表示文档频率的阈值，取值为整数时(>1)表示文档频数的阈值；如果设置了vocabulary，则忽略此参数。
  11.         'min_df': 1, # 词汇表中忽略文档频率低于该值的词；取值在[0,1]之间的小数时表示文档频率的阈值，取值为整数时(>1)表示文档频数的阈值；如果设置了vocabulary，则忽略此参数。
  12.         'max_features': 50, # int或 None(默认值).设置int值时建立一个词汇表，仅用词频排序的前max_features个词创建语料库；如果设置了vocabulary，则忽略此参数。
  13.         'ngram_range': (1, 2),  # 要提取的n-grams中n值范围的下限和上限，min_n <= n <= max_n。
  14.         'preprocessor': None, # 覆盖预处理（字符串转换）阶段，同时保留标记化和 n-gram 生成步骤。仅适用于analyzer不可调用的情况。
  15.         'stop_words': 'english', # 仅适用于analyzer='word'。取值english，使用内置的英语停用词表；list，自行设置停停用词列表；默认值None，不会处理停用词
  16.         'strip_accents': None,
  17.         'token_pattern': '(?u)\\b\\w\\w+\\b', # 分词方式、正则表达式，默认筛选长度>=2的字母和数字混合字符（标点符号被当作分隔符）。仅在analyzer='word'时使用。
  18.         'tokenizer': None, # 覆盖字符串标记化步骤，同时保留预处理和 n-gram 生成步骤。仅适用于analyzer='word'
  19.         'vocabulary': None, # 自行设置词汇表（可设置字典），如果没有给出，则从输入文件/文本中确定词汇表
  20.     }
  21.     return params_count
  22.  
  23. def CountVectorizer_train(train_data,params):
  24.     cv = CountVectorizer(**params)
  25.     # 输入训练集矩阵，每行表示一个文本
  26.  
  27.     # 训练，构建词汇表以及词项idf值，并将输入文本列表转成VSM矩阵形式
  28.     cv_fit = cv.fit_transform(train_data)
  29.     return cv
  30.     
  31.  
  32. train_data = ["Chinese Beijing Chinese",
  33.               "Chinese Chinese Shanghai",
  34.               "Chinese Macao",
  35.               "Tokyo Japan Chinese"]
  36.  
  37. params=tf_init_params()
  38. cv_model=CountVectorizer_train(df[df.label=='train'].clean_text,params)
  39. df_tf=pd.DataFrame(cv_model.transform(df.clean_text).toarray(),columns=cv_model.get_feature_names_out()).add_prefix('tf_')
  40. df_tf

图片

2、tf-idf统计特征

  1. def tfidf_init_params():
  2.     params={
  3.         'analyzer': 'word',  # 取值'word'-分词结果为词级、'char'-字符级(结果会出现he is，空格在中间的情况)、'char_wb'-字符级(以单词为边界)，默认值为'word'
  4.         'binary': False,  # boolean类型，设置为True，则所有非零计数都设置为1.（即，tf的值只有0和1，表示出现和不出现）
  5.         'decode_error': 'strict',
  6.         'dtype': np.float64, # 输出矩阵的数值类型
  7.         'encoding': 'utf-8',
  8.         'input': 'content', # 取值filename，文本内容所在的文件名；file，序列项必须有一个'read'方法，被调用来获取内存中的字节；content，直接输入文本字符串
  9.         'lowercase': True, # boolean类型，计算之前是否将所有字符转换为小写。
  10.         'max_df': 1.0, # 词汇表中忽略文档频率高于该值的词；取值在[0,1]之间的小数时表示文档频率的阈值，取值为整数时(>1)表示文档频数的阈值；如果设置了vocabulary，则忽略此参数。
  11.         'min_df': 1, # 词汇表中忽略文档频率低于该值的词；取值在[0,1]之间的小数时表示文档频率的阈值，取值为整数时(>1)表示文档频数的阈值；如果设置了vocabulary，则忽略此参数。
  12.         'max_features': 50, # int或 None(默认值).设置int值时建立一个词汇表，仅用词频排序的前max_features个词创建语料库；如果设置了vocabulary，则忽略此参数。
  13.         'ngram_range': (1, 1),  # 要提取的n-grams中n值范围的下限和上限，min_n <= n <= max_n。
  14.         'norm': None, # 输出结果是否标准化/归一化。l2：向量元素的平方和为1，当应用l2范数时，两个向量之间的余弦相似度是它们的点积；l1：向量元素的绝对值之和为1
  15.         'preprocessor': None, # 覆盖预处理（字符串转换）阶段，同时保留标记化和 n-gram 生成步骤。仅适用于analyzer不可调用的情况。
  16.         'smooth_idf': True, # 在文档频率上加1来平滑 idf ，避免分母为0
  17.         'stop_words': 'english', # 仅适用于analyzer='word'。取值english，使用内置的英语停用词表；list，自行设置停停用词列表；默认值None，不会处理停用词
  18.         'strip_accents': None,
  19.         'sublinear_tf': False, # 应用次线性 tf 缩放，即将 tf 替换为 1 + log(tf)
  20.         'token_pattern': '(?u)\\b\\w\\w+\\b', # 分词方式、正则表达式，默认筛选长度>=2的字母和数字混合字符（标点符号被当作分隔符）。仅在analyzer='word'时使用。
  21.         'tokenizer': None, # 覆盖字符串标记化步骤，同时保留预处理和 n-gram 生成步骤。仅适用于analyzer='word'
  22.         'use_idf': True, # 是否计算idf，布尔值，False时idf=1。
  23.         'vocabulary': None, # 自行设置词汇表（可设置字典），如果没有给出，则从输入文件/文本中确定词汇表
  24.     }
  25.     return params
  26.  
  27. def TfidfVectorizer_train(train_data,params):
  28.     tv = TfidfVectorizer(**params)
  29.     # 输入训练集矩阵，每行表示一个文本
  30.  
  31.     # 训练，构建词汇表以及词项idf值，并将输入文本列表转成VSM矩阵形式
  32.     tv_fit = tv.fit_transform(train_data)
  33.     return tv
  34.     
  35. tfidf_model=TfidfVectorizer_train(df[df.label=='train'].clean_text,tfidf_init_params())
  36. df_tfidf=pd.DataFrame(tfidf_model.transform(df.clean_text).toarray(),columns=tfidf_model.get_feature_names_out()).add_prefix('tfidf_')
  37. df_tfidf

图片

三、模型构建及评估

        分别使用tf特征、tfidf特征、tf+tfidf特征构建二分类模型，对比评估模型效果如下

图片

  1. def init_params():
  2.     params_lgb={
  3.         'boosting_type': 'gbdt',
  4.         'objective': 'binary',
  5.         'metric':'auc',
  6.         'n_jobs': 8,
  7.         'n_estimators':300,
  8.         'learning_rate': 0.01,
  9.         'max_depth':3,
  10.         'num_leaves': 8,
  11.         'max_bin':255, 
  12.         'subsample_for_bin':100000, 
  13.         'min_split_gain':0,
  14.         'min_child_samples':1,
  15.         'colsample_bytree': 0.8,
  16.         'subsample': 0.8,
  17.         'subsample_freq': 1,   
  18.         'feature_fraction_seed':2,
  19.         'bagging_seed': 1,
  20.         'reg_alpha':1,
  21.         'reg_lambda':1,
  22.         'scale_pos_weight':1,
  23.         'silent':True,
  24.         'random_state':1,
  25.         'verbose':-1, # 控制模型训练过程的输出信息，-1为不输出信息
  26.     }
  27.     return params_lgb
  28.  
  29. def ks_auc_value(y_true,df,model):
  30.     y_pred=model.predict_proba(df)[:,1]
  31.     fpr,tpr,thresholds= roc_curve(list(y_true),list(y_pred))
  32.     ks=max(tpr-fpr)
  33.     auc= roc_auc_score(list(y_true),list(y_pred))
  34.     return ks,auc
  35.  
  36. def model_train_sklearn(train,y_name,fea_list):
  37.     
  38.     params=init_params()
  39.     x_train,x_test =df[df.label=='train'][fea_list],df[df.label=='test'][fea_list]
  40.     y_train,y_test =df[df.label=='train'][y_name],df[df.label=='test'][y_name]
  41.  
  42.     model=lgb.LGBMClassifier(**params)
  43.     
  44.     model.fit(x_train,y_train,eval_set=[(x_train, y_train),(x_test, y_test)])
  45.     train_ks,train_auc=ks_auc_value(y_train,x_train,model)
  46.     test_ks,test_auc=ks_auc_value(y_test,x_test,model)
  47.     
  48.     dic={
  49.         'train_good':(y_train.count()-y_train.sum()),
  50.         'train_bad':y_train.sum(),
  51.         'test_good':(y_test.count()-y_test.sum()),
  52.         'test_bad':y_test.sum(),
  53.         'train_ks':train_ks,
  54.         'train_auc':train_auc,
  55.         'test_ks':test_ks,
  56.         'test_auc':test_auc,
  57.     }
  58.     return dic,model

四、划重点

少走10年弯路

        关注威信公众号 Python风控模型与数据分析，回复 垃圾邮件分类 获取本篇数据及代码

        还有更多理论、代码分享等你来拿

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/盐析白兔/article/detail/725449
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号