机器学习文本特征提取_kbinsdiscretizer

1.特征工程直接影响模型预测结果。python用sklearn库做特征工程

两种文本特征抽取方法（Count,  tf-idf）

（1）特征抽取API（统计单词次数）

sklearn.feature_extraction

python调用sklearn.feature_extraction 的DictVectorizer实现字典特征抽取

# 字典特征抽取
def dictvec():
    # 特征数据是字符串的话不能输入到算法里面，是要进行特征，转换的转换成OneHot编码。有利于机器学习算法分析。
    # 字典数据抽取,把字典中的一些类别特征，转换乘特征（数字），但是字典里面的数字不会进行转换，因为本来就是数据。
    # 如果是数组形式，有类别的这些特征，我们要先转换成字典，再进行数据抽取。
    # 实例化
    dict = DictVectorizer()
 
    # 返回的data是一个sparse矩阵格式
    # sparse节约内存，方便数据处理
    data = dict.fit_transform([{"city": "北京", 'temperature': 100}, {"city": "上海", 'temperature': 60}, {"city": "深圳", 'temperature': 30}])
 
    print(dict.inverse_transform(data))
    print(data)
    # 返回内容列表
    print(dict.get_feature_names())

#文本数据特种抽取

python调用sklearn.feature_extraction.text 的 CountVectorizer实现文本特征抽取

# 文本特征抽取
def countvec():
 
    test = CountVectorizer()        # 统计次数
    data = test.fit_transform(["life is is short I like python", "life is too long,I dislike python"])
    # 词去重，放在一个列表中
    print(test.get_feature_names())
    # 返回的是sparse格式，toarray手动转成二元组形式，对每篇文章在词的列表里面统计每个词出现的次数（单个字母不统计）
    print(data.toarray())
 
    # ['dislike', 'is', 'life', 'like', 'long', 'python', 'short', 'too']
    # [[0 1 1 1 0 1 1 0]
    #  [1 1 1 0 1 1 0 1]]
 
# 中文特征抽取
# 中文因为没有像英文一样进行分词，所以在做特征抽取前要先用jieba进行分词
def cutword():
    # 用jieba分词
    cont1 = jieba.cut("今天很残酷，明天很残酷，后天很美好")
    cont2 = jieba.cut("我们看到的从很远星系来的光是几百万年前发出的")
    cont3 = jieba.cut("如果只用一种方式了解某样事物，你就不会真正了解他")
 
    # 转换成列表
    content1 = list(cont1)
    content2 = list(cont2)
    content3 = list(cont3)
    # print(content3)
    # ['如果', '只用', '一种', '方式', '了解', '某样', '事物', '，', '你', '就', '不会', '真正', '了解', '他']
    # 把列表转换成字符串
    c1 = ' '.join(content1)
    c2 = ' '.join(content2)
    c3 = ' '.join(content3)
    # print(c1)
    # 今天 很 残酷 ， 明天 很 残酷 ， 后天 很 美好
 
    return c1, c2, c3
 
def hanzivec():
    test = CountVectorizer()
    c1, c2 ,c3 = cutword()
 
    data = test.fit_transform([c1, c2, c3])
    print(test.get_feature_names())
    print(data.toarray())

注：对英文和中文特征抽取过程是不一样的，因为英文单词与单词之间是有空格的，所以不用进行分词。

但是对于中文，词与词之间是没有空格的，所以需要先用jieba进行分词处理，再做特征抽取。

英文特征抽取结果：

['dislike', 'is', 'life', 'like', 'long', 'python', 'short', 'too']
[[0 2 1 1 0 1 1 0]
 [1 1 1 0 1 1 0 1]]

中文特征抽取结果：
['一种', '不会', '了解', '事物', '今天', '光是', '几百万年', '发出', '只用', '后天', '如果', '我们', '方式', '明天', '星系', '某样', '残酷', '看到', '真正', '美好']
[[0 0 0 0 1 0 0 0 0 1 0 0 0 1 0 0 2 0 0 1]
 [0 0 0 0 0 1 1 1 0 0 0 1 0 0 1 0 0 1 0 0]
 [1 1 2 1 0 0 0 0 1 0 1 0 1 0 0 1 0 0 1 0]]

（2）对于以上用统计每个单词数量的方法来做文章的比较，有一个问题就是，每篇文章假如出现了大量的中性词(所以，因为，如果，那么等等)，用统计的方法就不再合适。

TF-IDF

Tf:term frequency(词的频率)

idf:inverse document frequency(逆文档频率)

统计词每篇文章出现的次数 * log(总文档数量/该词出现的文档数量)=重要性

举例：

假如有三篇文章c1, c2, c3

“所以”一词出现在两篇文章中，c1出现了5次，c2出现了2次

那么对于第一篇文档TF-IDF就是5*log(3/2)

那么对于第二篇文档TF-IDF就是2*log(3/2)

对于原本出现次数比较多的此压缩了权重

对于原本出现次数比较少的此增加了权重

可以得出每个词对于这篇文章的重要性

具体意思就是如果一些词在一篇文章出现频率较高，在其他文章出现频率较低，那么说明这些词对于这篇文章重要程度较高。而对于一些所有文章都出现的词那么重要程度较低。
 

from sklearn.feature_extraction.text import TfidfVectorizer

# TFIDF特征抽取
def tfidfvec():
    test = TfidfVectorizer()
    c1, c2, c3 = cutword()
    data = test.fit_transform([c1, c2, c3])
    print(test.get_feature_names())
    print(data.toarray())

一共三篇文章，结果是每个词在其所在的文章所占的比重。

目标值标签编码

sklearn必须导入数值型。不能是字符串（可以导入一维数组）。

所以我们需要对目标值进行处理

from sklearn.preprocessing import LabelEncoder
 
#去除最后一列，用LabelEncoder转换成编码（0，1，2）
data.iloc[:, -1] = LabelEncoder().fit_transform(data.iloc[:, -1])

类别型特征做独热编码OneHotEncoder

例如：

有两列特征性别（男，女）、学历（初中，高中，大学）

小明是男生，大学。那么做完独热编码后小明的特征就转换成

1，0，0，0，1

# 取所有行的第一列到倒数第二列
X = data.iloc[:, 1:-1]
 
#auto,自动识别有几类
enc = OneHotEncoder(categories='auto')
 
# toarray,将结果转换成一个array数组
result = enc.fit_transform(X).toarray()
 
# 将OneHot编码后的结果还原
pd.DataFrame(enc.inverse_transform(result))
 
# 换回OneHot编码后的分类对照结果
# enc.get_feature_names()

Binarizer处理对特征做二值化处理

# 所有对列处理的方法传入的数值都不能是一维，要转成二维数组
X = data_2.ilco[:, 0].values.reshape(-1, 1)
 
transformer = Binarizer(threshold=30).fit_transform(X)
 
# 将转换后的0，1数值替换掉原来的列
data_2.iloc[:, 0] = transformer

KBinsDiscretizer对数值做多值化处理

from sklearn.preprocessing import KBinsDiscretizer
 
# 分成3箱，用独热编码，等宽
est = KBinsDiscretizer(n_bins=3, encode='ordinal', strategy='uniform')