ML模型2：逻辑回归

一些回归算法可以用来处理分类问题，以及一些分类算法可以进行回归预测，逻辑回归就属于前者。逻辑回归一般通过估计一个概率值，来表示一个样本属于某一类的概率。假如一个样本属于某一类的概率大于50%，那么就判该样本属于这一类。

优点：计算代价不高，易于理解和实现。

缺点：容易欠拟合，分类精度可能不高。

1. 实现分类

逻辑回归对样本概率的估计类似线性回归，也是计算出样本的一系列权重，然后将该权重线性加和之后输入到sigmoid函数中，进而计算出一个概率值。
$$\hat{p}=h_{\theta }(x)=\sigma ({\theta }^T\cdot x)=\sigma (x\theta )$$
其中 $\theta$ 即为权重，$\sigma$ 即为sigmoid函数，如下：
$$\sigma (t)=\frac{1}{1+e^{-t}}$$
sigmoid函数图象：

sigmoid函数将 ${\theta }^{T}x$ 的值域从 $\mathbf{R}$ 映射到 (0, 1)，从而表示发生事件的概率值，所以我们可以根据计算出来的概率值来进行对样本进行分类：
y ^ = { 0 p ^ < 0.5 , 1 p ^ ≥ 0.5. \hat{y}=

$$\begin{cases}0 \quad \hat{p}&lt;0.5,\\1 \quad \hat{p}\geq 0.5.\end{cases}$$ y^​={ 0p^​<0.5,1p^​≥0.5.​

2. 损失函数

我们既然是通过sigmoid函数的值来进行概率预测的，那么我们的目标就应该是找出一组权重参数θ，能够对于正样本使得sigmoid函数有一个高的输出值，而对于负样本有一个低的输出。
我们可以通过计算损失函数来逐步达到这一的目标。对于单个样本来说，损失函数如下公式。与线性回归的平方误差不同，此处使用的是对数损失(Q1. 为什么？)：
c ( θ ) = { − log ⁡ ( p ^ )     y = 1 , − log ⁡ ( 1 − p ^ ) y = 0. c(\theta)=

$$\begin{cases}-\log(\hat{p}) \quad\quad\ \ \ y=1,\\-\log(1-\hat{p}) \quad y=0.\end{cases}$$ c(θ)={ −log(p^​)   y=1,−log(1−p^​)y=0.​
对整个数据集损失函数如下：
J ( θ ) = − 1 m ∑ i = 1 m [ y ( i ) log ⁡ ( p ^ ( i ) ) + ( 1 − y