r语言逻辑回归_R语言机器学习 | 3 逻辑回归

1 基础知识

逻辑回归(logistic regression)是线性回归的推广，属于广义线性模型(generalized linear model)的一种。

所谓广义线性回归，本质上仍然是线性回归，只是把线性回归中的y变成了关于y的函数。举个例子，最简单的单个自变量的线性回归方程为：y=ax+b，现在把y在对数尺度上进行变换，即变为lny=ax+b，也就是y = exp(ax+b)。该回归方程显然是非线性的，但实质上可以通过对y取自然对数，使其变回线性回归(显然当y已知的时候，lny也是已知的)。所以，大家把这种对y进行一定变换后可以变回线性回归的方程叫做广义线性回归。

相比于一般的线性回归，逻辑回归的用途是进行分类。说白了，就是其因变量Y不再是连续变量，而是类别变量(尤其是二分类变量)。比如，要根据某些特征，来判断一个人是吃货or不是吃货，就可以用到逻辑回归。

如果要用回归做二分类问题，那因变量Y的取值只能是{0,1}。以分类是不是吃货为例，我们希望是吃货(阳性)的样本被分类到1，不是吃货(阴性)的样本被分类到0。按照这个逻辑，分类函数理应是这么一个单位阶跃函数(纵坐标y，横坐标ax+b):

单位阶跃函数，ax+b<0时y=0;ax+b>0时y=1;ax+b=0时y=0

但是阶跃函数不是一个连续函数，这在进行计算的时候会存在问题。因此，通常会用一种近似单位阶跃函数的sigmoid函数来进行分类问题的解决，这也就是逻辑回归的函数表达，其数学表达式见下图。当然，要注意这个表达式只描述了一个自变量的情况，所以指数是-(a+bx)，多个自变量的话e的指数就是-(a+b1x1+b2x2+...)。

逻辑回归的函数图像

逻辑回归的表达式

这个表达式显然是非线性的，但是可以通过对y进行一些数学变换使其变回线性回归。具体而言，将y变换为 ln(y/1-y)，即可得到 l