特征工程-数据预处理、特征选择、降维_互信息降维

理论知识和代码参考知乎https://www.zhihu.com/question/29316149/answer/110159647

# -*- coding: utf-8 -*-
"""
Created on Mon Jun 18 09:53:43 2018


@author: Administrator
"""


'''
特征工程 Feature Engineering
'''
import numpy as np
from sklearn.datasets import load_iris#加载数据集
'''
数据预处理
'''
from sklearn.preprocessing import StandardScaler#数据预处理-标准化
from sklearn.preprocessing import MinMaxScaler#数据预处理-区间缩放法[0,1
from sklearn.preprocessing import Normalizer#数据预处理-归一化
from sklearn.preprocessing import Binarizer#数据预处理-二值化
from sklearn.preprocessing import OneHotEncoder#数据预处理-哑编码
from sklearn.preprocessing import Imputer#数据预处理-缺省值计算 
from sklearn.preprocessing import PolynomialFeatures#数据预处理-多项式转化
from sklearn.preprocessing import FunctionTransformer#数据预处理-自定义函数转换
'''
特征选择
'''
from sklearn.feature_selection import VarianceThreshold#方差选择法
from sklearn.feature_selection import SelectKBest#相关系数法-计算各个特征对类别标记的相关系数
from scipy.stats import pearsonr#计算相关系数
from sklearn.feature_selection import chi2#卡方检验
from minepy import MINE#互信息法
from sklearn.feature_selec