- 12023年网络安全面试题（渗透测试）：详细答案解析与最佳实践分享_渗透测试面试
- 2解决python 3.11版本在linux ubuntu 23.04上使用pip命令报错：error: externally-managed-environment_to install python packages system-wide, try apt in
- 3LLMs之ChatGLM3：ChatGLM3/ChatGLM3-6B的简介—“对话格式”功能介绍(推理系统如何解析参数/采用Python代码形式/编写工具调用的代码/Manual Mode)、推理演示
- 4yolov5模型训练结果分析_yolov5模型的准确率
- 5机器学习五大流派，九种常见算法优点场景举例_除了统计机器学习,还有别的机器学习吗
- 6力扣习题+——单链表
- 7探索Linux世界：基本指令（文件查看、时间相关、grep、打包压缩及相关知识）
- 8c 窗体怎么去服务器上获取文件,WinForm窗体程序中使用CefSharp获取加载后的资源、截取request参数、拦截response数据、注入jquery文件和js代码（2）-截取request...
- 9界面中背景图片大小自适应_自适应视觉算法在表面缺陷检测中的应用
- 10three.js工厂点击动画、标签
最小二乘法的平方损失函数的推导_平方误差函数求导
赞
踩
理论推导
在线性模型中，假设预测结果与实际结果有误差为
ε
(
i
)
\varepsilon^{(i)}
ε(i)
则线性模型中，误差可以表示为
ε
(
i
)
=
y
(
i
)
−
θ
T
x
(
i
)
\varepsilon^{(i)} = y^{(i)} - \theta^Tx^{(i)}
ε(i)=y(i)−θTx(i)
根据中心极限定律，假设误差
ε
(
i
)
\varepsilon^{(i)}
ε(i)服从标准正态分布，则可以得到
p
(
y
(
i
)
∣
x
(
i
)
;
θ
)
=
1
2
π
σ
e
(
−
y
(
i
)
−
θ
T
x
(
i
)
2
σ
2
)
p(y^{(i)}|x^{(i)};\theta) = \frac{1}{\sqrt{2\pi}\sigma} e^{(-\frac{y^{(i)} - \theta^Tx^{(i)}}{2\sigma^{2}})}
p(y(i)∣x(i);θ)=2π
σ1e(−2σ2y(i)−θTx(i))
根据最大似然估计得到
L
(
u
,
σ
2
)
=
∏
i
=
1
n
1
2
π
σ
e
−
(
ε
i
−
u
)
2
2
σ
2
L(u,\sigma^2) = \prod_{i=1}^{n} \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(\varepsilon_i-u)^2}{2 \sigma^2}}
L(u,σ2)=i=1∏n2π
σ1e−2σ2(εi−u)2
取对数得到
l
n
(
L
(
u
,
σ
2
)
)
=
−
n
2
l
n
σ
2
−
n
2
l
n
2
π
−
∑
i
=
1
n
(
ε
i
−
u
)
2
2
σ
2
ln(L(u,\sigma^2)) = -\frac{n}{2}ln\sigma^2-\frac{n}{2}ln2\pi-\frac{\sum_{i=1}^{n}(\varepsilon_i-u)^2}{2 \sigma^2}
ln(L(u,σ2))=−2nlnσ2−2nln2π−2σ2∑i=1n(εi−u)2
为了使似然函数最大,式中的
σ
\sigma
σ在上面的假设中为一个定值，所以要使得似然函数取最大，则
1
2
∑
i
=
1
n
(
ε
i
−
u
)
2
{\frac{1}{2}\sum_{i=1}^{n}(\varepsilon_i-u)^2}
21∑i=1n(εi−u)2需要最小，得到平方损失函数为:
J
(
θ
)
=
1
2
∑
i
=
1
n
(
y
(
i
)
−
θ
T
x
(
i
)
)
2
J(\theta) = \frac{1}{2} \sum_{i=1}^{n}(y^{(i)} - \theta^Tx^{(i)})^2
J(θ)=21i=1∑n(y(i)−θTx(i))2
