赞
踩
(1)、两者最本质的区别是逻辑回归处理的是分类问题,线性回归处理的是回归问题;在逻辑回归中,因变量取值是一个二元分布,模型学习得出的是E[y|x;w],即给定自变量和超参数后,得到因变量的期望,并基于此期望来处理预测分类问题。而线性回归实际上求解的是
y
^
=
w
T
x
\hat y =w^Tx
y^=wTx,是假设真实关系
y
=
w
T
x
+
ϵ
y = w^Tx+ \epsilon
y=wTx+ϵ的一个近似,其中
ϵ
\epsilon
ϵ 代表误差项。
(2)、逻辑回归的因变量是离散,而线性回归中因变量是连续的。并且在自变量x与超参数w确定的情况,逻辑回归可以看作广义线性回归(Generalized Linear Models)在因变量y服从二元分布时的一个特殊情况;而使用最小二乘法求解线性回归时,因变量y服从正态分布。
(1)都可以使用极大似然估计对训练样本进行建模:线性回归使用最小二乘法,就是在自变量x与超参数w确定,因变量y服从正态分布假设下,使用极大似然的一个化简;而逻辑回归中对似然函数
∏
i
=
1
N
[
p
1
(
x
^
;
w
^
)
y
i
⋅
p
0
(
x
^
;
w
^
)
(
1
−
y
i
)
]
\prod^N_{i=1}[p_1(\hat x;\hat w)^{y_i} \cdot p_0(\hat x;\hat w)^{(1-y_i)}]
∏i=1N[p1(x^;w^)yi⋅p0(x^;w^)(1−yi)]的学习,得到最佳的参数;
(2)二者在求解超参数的工程中,都可以使用梯度下降的方法;
取自【白面机器学习】
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。