【教程】逻辑回归怎么做多分类_多分类逻辑回归

目录

一、逻辑回归模型介绍

1.1 逻辑回归模型简介

1.2 逻辑回归二分类模型

1.3 逻辑回归多分类模型

二、如何实现逻辑回归二分类

2.1 逻辑回归二分类例子

2.2 逻辑回归二分类实现代码

三、如何实现一个逻辑回归多分类

3.1 逻辑回归多分类问题

3.1 逻辑回归多分类的代码实现

---

 本文部分图文借鉴自《老饼讲解-机器学习》

一、逻辑回归模型介绍

1.1 逻辑回归模型简介

逻辑回归模型是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。它与多重线性回归有很多相同之处，模型形式基本相同，都具有w'x+b，其中w和b是待求参数。重线性回归直接将w'x+b作为因变量即y =w'x+b，而逻辑回归则通过sigmiod函数将w'x+b对应一个概率P，

也就是说，线性回归用于数值预测问题，而逻辑回归则用于分类问题，逻辑回归输出的是属于类别的概率。逻辑回归的意义如下图所示，用直线/超平面将不同类别的数据样本进行划分：

逻辑回归可以用于做二分类(即只有两个类别)，也可以做多分类(2个以上的类别)。二分类是逻辑回归的基本模型，而多分类则是二分类模型的拓展。

1.2 逻辑回归二分类模型

逻辑回归的二分类模型如下：

它的损失函数为最大似然损失函数：

模型中的参数W就是通过求解损失函数，令损失函数取最小值，从而求得W的最优解。模型的求解一般使用梯度下降法。

1.3 逻辑回归多分类模型

逻辑回归多分类模型是二分类模型的拓展。主要有softmax回归和OVR两种拓展方法,其中，OVR是基于二分类模型的一种通用拓展方法。两种方法的原理如下：

softmax回归：softmax回归是逻辑回归在多分类问题上的推广，通过修改逻辑回归的损失函数，将逻辑回归变为softmax回归。softmax回归会有相同于类别数的输出，输出的值为对于样本属