使用sklearn优雅地进行数据挖掘_csdn sklearn hadoop

1 def fit(self, X, y=None):
2         """Do nothing and return the estimator unchanged
3         This method is just there to implement the usual API and hence
4         work in pipelines.
5         """
6         X = check_array(X, accept_sparse='csr')
7         return self

 1 from numpy import hstack, vstack, array, median, nan
 2 from numpy.random import choice
 3 from sklearn.datasets import load_iris
 4 
 5 #特征矩阵加工
 6 #使用vstack增加一行含缺失值的样本(nan, nan, nan, nan)
 7 #使用hstack增加一列表示花的颜色（0-白、1-黄、2-红），花的颜色是随机的，意味着颜色并不影响花的分类
 8 iris.data = hstack((choice([0, 1, 2], size=iris.data.shape[0]+1).reshape(-1,1), vstack((iris.data, array([nan, nan, nan, nan]).reshape(1,-1)))))
 9 #目标值向量加工
10 #增加一个目标值，对应含缺失值的样本，值为众数
11 iris.target = hstack((iris.target, array([median(iris.target)])))

 1 from numpy import log1p
 2 from sklearn.preprocessing import FunctionTransformer
 3 from sklearn.preprocessing import Binarizer
 4 from sklearn.pipeline import FeatureUnion
 5 
 6 #新建将整体特征矩阵进行对数函数转换的对象
 7 step2_1 = ('ToLog', FunctionTransformer(log1p))
 8 #新建将整体特征矩阵进行二值化类的对象
 9 step2_2 = ('ToBinary', Binarizer())
10 #新建整体并行处理对象
11 #该对象也有fit和transform方法，fit和transform方法均是并行地调用需要并行处理的对象的fit和transform方法
12 #参数transformer_list为需要并行处理的对象列表，该列表为二元组列表，第一元为对象的名称，第二元为对象
13 step2 = ('FeatureUnion', FeatureUnion(transformer_list=[step2_1, step2_2, step2_3]))

 1 from numpy import log1p
 2 from sklearn.preprocessing import OneHotEncoder
 3 from sklearn.preprocessing import FunctionTransformer
 4 from sklearn.preprocessing import Binarizer
 5 
 6 #新建将部分特征矩阵进行定性特征编码的对象
 7 step2_1 = ('OneHotEncoder', OneHotEncoder(sparse=False))
 8 #新建将部分特征矩阵进行对数函数转换的对象
 9 step2_2 = ('ToLog', FunctionTransformer(log1p))
10 #新建将部分特征矩阵进行二值化类的对象
11 step2_3 = ('ToBinary', Binarizer())
12 #新建部分并行处理对象
13 #参数transformer_list为需要并行处理的对象列表，该列表为二元组列表，第一元为对象的名称，第二元为对象
14 #参数idx_list为相应的需要读取的特征矩阵的列
15 step2 = ('FeatureUnionExt', FeatureUnionExt(transformer_list=[step2_1, step2_2, step2_3], idx_list=[[0], [1, 2, 3], [4]]))

 1 from numpy import log1p
 2 from sklearn.preprocessing import Imputer
 3 from sklearn.preprocessing import OneHotEncoder
 4 from sklearn.preprocessing import FunctionTransformer
 5 from sklearn.preprocessing import Binarizer
 6 from sklearn.preprocessing import MinMaxScaler
 7 from sklearn.feature_selection import SelectKBest
 8 from sklearn.feature_selection import chi2
 9 from sklearn.decomposition import PCA
10 from sklearn.linear_model import LogisticRegression
11 from sklearn.pipeline import Pipeline
12 
13 #新建计算缺失值的对象
14 step1 = ('Imputer', Imputer())
15 #新建将部分特征矩阵进行定性特征编码的对象
16 step2_1 = ('OneHotEncoder', OneHotEncoder(sparse=False))
17 #新建将部分特征矩阵进行对数函数转换的对象
18 step2_2 = ('ToLog', FunctionTransformer(log1p))
19 #新建将部分特征矩阵进行二值化类的对象
20 step2_3 = ('ToBinary', Binarizer())
21 #新建部分并行处理对象，返回值为每个并行工作的输出的合并
22 step2 = ('FeatureUnionExt', FeatureUnionExt(transformer_list=[step2_1, step2_2, step2_3], idx_list=[[0], [1, 2, 3], [4]]))
23 #新建无量纲化对象
24 step3 = ('MinMaxScaler', MinMaxScaler())
25 #新建卡方校验选择特征的对象
26 step4 = ('SelectKBest', SelectKBest(chi2, k=3))
27 #新建PCA降维的对象
28 step5 = ('PCA', PCA(n_components=2))
29 #新建逻辑回归的对象，其为待训练的模型作为流水线的最后一步
30 step6 = ('LogisticRegression', LogisticRegression(penalty='l2'))
31 #新建流水线处理对象
32 #参数steps为需要流水线处理的对象列表，该列表为二元组列表，第一元为对象的名称，第二元为对象
33 pipeline = Pipeline(steps=[step1, step2, step3, step4, step5, step6])

1 from sklearn.grid_search import GridSearchCV
2 
3 #新建网格搜索对象
4 #第一参数为待训练的模型
5  #param_grid为待调参数组成的网格，字典格式，键为参数名称（格式“对象名称__子对象名称__参数名称”），值为可取的参数值列表
6  grid_search = GridSearchCV(pipeline, param_grid={'FeatureUnionExt__ToBinary__threshold':[1.0, 2.0, 3.0, 4.0], 'LogisticRegression__C':[0.1, 0.2, 0.4, 0.8]})
7 #训练以及调参
8 grid_search.fit(iris.data, iris.target)

1 #持久化数据
2 #第一个参数为内存中的对象
3 #第二个参数为保存在文件系统中的名称
4 #第三个参数为压缩级别，0为不压缩，3为合适的压缩级别
5 dump(grid_search, 'grid_search.dmp', compress=3)
6 #从文件系统中加载数据到内存中
7 grid_search = load('grid_search.dmp')