机器学习-逻辑斯蒂回归（Logistic Regression）_逻辑斯谛回归

注：内容转自https://github.com/NLP-LOVE/ML-NLP/tree/master/Machine%20Learning，略有修改。

目录

逻辑

1. 什么是逻辑斯蒂回归

2. 什么是Sigmoid函数

3. 损失函数是什么

4.可以进行多分类吗？

5.逻辑斯蒂回归有什么优缺点

6. 逻辑斯蒂回归有哪些应用

7. 逻辑斯蒂回归常用的优化方法有哪些

7.1 一阶方法

7.2 二阶方法：牛顿法、拟牛顿法：

8. 逻辑斯特回归为什么要对特征进行离散化。

9. 逻辑回归的目标函数中增大L1正则化会是什么结果。

10. 代码实现

---

逻辑

1. 什么是逻辑斯蒂回归

逻辑回归是用来做分类算法的，大家都熟悉线性回归，一般形式是Y=aX+b，y的取值范围是[-∞, +∞]，有这么多取值，怎么进行分类呢？不用担心，伟大的数学家已经为我们找到了一个方法。

也就是把Y的结果带入一个非线性变换的Sigmoid函数中，即可得到[0,1]之间取值范围的数S，S可以把它看成是一个概率值，如果我们设置概率阈值为0.5，那么S大于0.5可以看成是正样本，小于0.5看成是负样本，就可以进行分类了。

2. 什么是Sigmoid函数

函数公式如下：

函数中t无论取什么值，其结果都在[0,1]的区间内，回想一下，一个分类问题就有两种答案，一种是“是”，一种是“否”，那0对应着“否”，1对应着“是”，那又有人问了，你这不是[0,1]的区间吗，怎么会只有0和1呢？这个问题问得好，我们假设分类的阈值是0.5，那么超过0.5的归为1分类，低于0.5的归为0分类，阈值是可以自己设定的。

好了，接下来我们把aX+b带入t中就得到了我们的逻辑回归的一般模型方程：

结果P也可以理解为概率，换句话说概率大于0.5的属于1分类，概率小于0.5的属于0分类，这就达到了分类的目的。

3. 损失函数是什么

二项逻辑回归的条件概率分布为:

其中，

因此，其似然函数为：

求模型参数\theta, 也就是使得似然函数为最大值时对应的参数\theta, 对似然函数取对数，也就是要求对数似然函数取最大值：

由于损失函数一般是取最小值，因此损失函数定义为对数似然函数的相反数，即

化成分段函数公式如下：

这样构建的