- 1Python 基础 — 基础语法_python %name %name
- 290后，转行软件测试3年，从月入7000+到月入过万，整理出的这一万字经验分享。_毕业后第二份工作可以转研发嘛
- 3Unity Lighting Window 属性的序列化与反序列化_unity lightingdata.asset 序列化
- 4深入了解Nginx（一）：Nginx核心原理
- 5软件测试—接口测试面试题及jmeter面试题_软件测试面试题接口
- 6STM32+WIFI+MQTT+云Mysql数据上报并转存到云数据库_stm32基于云平台的数据库
- 7【C++】详解深浅拷贝的概念及其区别
- 8使用Git 命令行拉取、提交、推送 代码_git命令行推送
- 9智慧水务大数据平台-智慧水务建设方案_智慧水务平台方案
- 10新朋友+1！拓数派 PieCloudDB Database 与 OpenCloudOS、TencentOS Server 完成产品兼容互认证_opencloudos tencentos server
MSE 均方误差及其梯度_mse梯度
赞
踩
MSE 均方误差及其梯度
mse 表达式
M
S
E
=
1
n
∑
i
=
0
n
(
y
i
−
o
i
)
2
MSE= \frac{1}{n} \sum_{i=0}^{n} (y^{i}-o^{i})^2
MSE=n1i=0∑n(yi−oi)2
其中n为输出节点数，真值为 y , 模型输出为 o
mse 对 第 j 个 o 求偏导
∂
M
S
E
∂
o
j
=
1
n
∑
i
=
0
n
∂
(
y
i
−
o
i
)
2
∂
o
j
\frac{\partial MSE}{\partial o^j} = \frac{1}{n} \sum_{i=0}^{n} \frac{\partial (y^{i}-o^{i})^2}{\partial o^j}
∂oj∂MSE=n1i=0∑n∂oj∂(yi−oi)2
∂
M
S
E
∂
o
j
=
2
n
∑
i
=
0
n
(
y
i
−
o
i
)
∂
(
y
i
−
o
i
)
∂
o
j
\frac{\partial MSE}{\partial o^j} = \frac{2}{n} \sum_{i=0}^{n} (y^{i}-o^{i})\frac{\partial (y^{i}-o^{i})}{\partial o^j}
∂oj∂MSE=n2i=0∑n(yi−oi)∂oj∂(yi−oi)
∂
M
S
E
∂
o
j
=
2
n
∑
i
=
0
n
(
y
i
−
o
i
)
(
−
1
)
∂
(
o
i
)
∂
o
j
\frac{\partial MSE}{\partial o^j} = \frac{2}{n} \sum_{i=0}^{n} (y^{i}-o^{i})(-1)\frac{\partial (o^{i})}{\partial o^j}
∂oj∂MSE=n2i=0∑n(yi−oi)(−1)∂oj∂(oi)
考虑到
∂
(
o
i
)
∂
o
j
\frac{\partial (o^{i})}{\partial o^j}
∂oj∂(oi)
仅当j = i 时才为 1，其它点都为 0，也就是说， 偏导数只与第j号节点相关，与其它节点无关， 因此上式中的求和符号可以去掉。 均方误差函数的导数可以推导为：
∂
M
S
E
∂
o
j
=
2
n
(
o
i
−
y
i
)
\frac{\partial MSE}{\partial o^j} = \frac{2}{n} (o^{i} - y^{i})
∂oj∂MSE=n2(oi−yi)
