赞
踩
均方误差(Mean Squared Error, MSE)是衡量“平均误差”的一种较方便的方法。可以评价数据的变化程度。均方根误差是均方误差的算术平方根。
最小二乘(LS) 问题是这样一类优化问题,目标函数是若干项的平方和,每一项具有形式
a
i
T
x
−
b
i
a_{i}^{T} x-b_{i}
aiTx−bi,具体形式如下:
(1)
m
i
n
f
(
x
)
=
∑
i
=
1
k
(
a
i
T
x
−
b
i
)
2
min f(x)=\sum_{i=1}^{k}{\left( a_{i}^{T}x-b_{i} \right)^{2} } \tag1
minf(x)=i=1∑k(aiTx−bi)2(1)
但是,我们在实际优化问题中经常看到的是另一种表示形式:
(2)
∑
i
=
1
k
(
y
i
−
f
^
(
x
i
,
θ
)
)
2
\sum_{i=1}^{k}\left(y_{i}-\hat{f} (x_{i},\theta )\right)^{2} \tag2
i=1∑k(yi−f^(xi,θ))2(2)
其中 y y y是真值, f ^ ( x , θ ) \hat{f}(x,\theta ) f^(x,θ)是估计值,式1和式2是一样的,只是用的符号不同,式1中的x对应式2中的 θ \theta θ ,即优化中要求的变量.
作为过渡概念,LS的一种更复杂也更灵活的变形:
加权最小二乘 根据实际问题考虑每个求和项的重要程度,即加权值w,如下:
(3)
∑
i
=
1
k
w
i
(
a
i
T
x
−
b
i
)
2
\sum_{i=1}^{k}w_{i}\left( a_{i}^{T}x-b_{i} \right)^{2}\tag3
i=1∑kwi(aiTx−bi)2(3)
均方误差(MSE): 是一种加权最小二乘,它的权值是概率
最小二乘法(LS):观测值与实际数据误差平方和最小, m i n ( y − f ( x ) ) min(y-f(x)) min(y−f(x))。
最小均方误差(MMSE):误差平方和取均值再开方,在含噪数据中使预测模型有好的精度(概率最大模型),达到 f ( x ) = y f(x)=y f(x)=y。
作者:知乎用户
链接:https://www.zhihu.com/question/27200164/answer/88360164
来源:知乎
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。