Matlab——逻辑回归（原理、代码）_matlab逻辑回归

对于一个机器学习方法，通常由模型、策略和算法3个要素构成。

• 模型是假设空间的形式，如是线性函数还是条件概率；
• 策略是判断模型好坏的数学表达式，将学习问题转化为优化问题，一般策略对应一个代价函数（Cost Function）；
• 算法是上述优化问题的求解方法，有多种方法，如梯度下降法、直接求导、遗传算法等。

目录

1 逻辑回归原理

2 Sigmoid函数 

3 逻辑回归理论公式推导 

4 逻辑回归算法的改进——正则化 

5 Matlab实践

1 逻辑回归原理

逻辑回归是一种广义的线性模型。虽然被称为回归，但在实际应用中常被用作分类，用于估计某个事件发生的概率。例如某用户购买商品的可能性，某病人患有某种疾病的可能性，某广告被用户点击的可能性等。

• 首先基于线性模型。若为了解决分类问题，需要把线性模型的输出做一个变换，利用Sigmoid函数，将实数域的输出映射到（0，1）区间，为输出提供了很好的概率解释。
• 其次策略方面，采用了交叉熵损失函数；
• 第三算法方面，为了最小化损失函数，采用了梯度下降方法。

2 Sigmoid函数 

3 逻辑回归理论公式推导 

——模型 

其中p(y|x;w)是0-1分布（伯努利分布）。 

——策略（定义损失函数）

求解w，定义一个指标衡量w的表现，即代价函数，利用最大似然法。

了衡量算法在全部训练样本上的表现如何，我们需要定义一个算法的代价函数，算法的代价函数是对

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/盐析白兔/article/detail/475900