当前位置:   article > 正文

python逻辑回归的主要参数_python机器学习(六)回归算法-逻辑回归

python逻辑回归的主要参数

逻辑回归

同步更新在个人网站:http://www.wangpengcufe.com/machinelearning/pythonml-pythonml6/

一、概述

1.1、概念

是一种名为“回归”的线性分类器,是由线性回归变化而来的,一种广泛使用于分类问题中的广义回归算法。

1.2、按预测标签的数据类型分

连续型变量:通过线性回归方程z,线性回归使用输入的特征矩阵X来输出一组连续型的标签值y_pred,以完成各种预测连续型变量的任务(比如预测产品销量,预测股价等等)

离散型变量:通过Sigmoid函数变换,线性回归方程z变换为g(z),使得模型的值分布在(0,1)之间,且当g(z)接近0时样本的标签为类别0,当g(z)接近1时样本的标签为类别1,这样就得到了一个分类模型。

线性回归方程式

1.3、公式

公式

其中,y(x)就是我们逻辑回归返回的标签值。

1.4、本质

y(x)的形似几率取对数就是线性回归,对数几率回归,就是逻辑回归。

二、重要概念

Sigmoid函数:Sigmoid函数是一个S型的函数,当自变量z趋近正无穷时,因变量g(z)趋近于1,而当z趋近负无穷时,g(z)趋近于0,它能够将任何实数映射到(0,1)区间,使其可用于将任意值函数转换为更适合二分类的函数。

Sigmoid函数

Sigmoid函数公式

因为这个性质,Sigmoid函数也被当作是归一化的一种方法,与我们之前学过的MinMaxSclaer同理,是属于数据预处理中的“缩放”功能,可以将数据压缩到[0,1]之内。区别在于,MinMaxScaler归一化之后,是可以取到0和1的(最大值归一化后就是1,最小值归一化后就是0),但Sigmoid函数只是无限趋近于0和1。

损失函数:是一个评估指标,来衡量参数为 的模型拟合训练集时产生的信息损失的大小,并以此衡量参数的优劣。

损失函数小,模型在训练集上表现优异,拟合充分,参数优秀。

损失函数大,模型在训练集上表现差劲,拟合不足,参数糟糕。

我们追求,能够让损失函数最小化的参数组合。

注意:没有”求解参数“需求的模型没有损失函数,比如KNN,决策树。

损失函数公式

θ表示求解出来的一组参数,m是样本的个数, yi 是样本 i 上真实的标签, yθ(xi)是样本 i 上,基于参数θ计算出来的逻辑回归返回值,xi 是样本 i 各个特征的取值。我们的目标,就是求解出使 J(θ)最小的 θ 取值。注意,在逻辑回归的本质函

声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:【wpsshop博客】
推荐阅读
相关标签
  

闽ICP备14008679号