python网格搜索核函数_python机器学习——超参数网格搜索

网格搜索理论

(1)参数与超参数

参数是由模型从数据中学习得到的。如回归中各自变量前的系数。

超参数：所谓超参数，就是机器学习模型里面的框架参数，比如聚类方法的类别的个数，随机森林生成树的个数。它们跟训练过程中学习的参数(权重)是不一样的，通常是手工设定几个取值，然后通过不断试错调整，对一系列穷举出来的参数组合一通枚举(叫做网格搜索)。

【例】

① SVR 需要事先决定核心函数( kernel function )的类型，若选择不当，则得不到良好的预测结果；

sklearn.svm.SVC(C=1.0, kernel=‘rbf’, degree=3, gamma=‘auto’, coef0=0.0, shrinking=True, probability=False, tol=0.001, cache_size=200, class_weight=None, verbose=False, max_iter=-1, decision_function_shape=None,random_state=None)

参数解释： C：C-SVC 的惩罚参数 C ，默认值是 1.0。C 越大，相当于惩罚松弛变量，希望松弛变量接近 0，即对误分类的惩罚增大，趋向于对训练集全分对的情况，这样对训练集测试时准确率很高，但泛化能力弱。C 值小，对误分类的惩罚减小，允许容错，将他们当成噪声点，泛化能力较强。

kernel：核函数， 默认是 rbf ，可以是‘linear’, ‘poly’, ‘rbf’, ‘sigmoid’, ‘precomputed’

degree ：多项式 poly 函数的维度， 默认是 3 ，选择其他核函数时会被忽略。

gamma ：‘rbf’,‘poly’ 和‘sigmoid’的核函数参数。默认是’auto’，则会选择1/n_features

coef0 ：核函数的常数项。对于‘poly’和 ‘sigmoid’有用。

probability ：是否采用概率估计？ 默认为 False

shrinking ：是否采用 shrinkin