- 1C# 利用 UI 自动化框架与应用程序的用户界面进行交互来模拟点击按钮_c# ui自动化
- 2python爬取携程旅行网景点评论_携程评论爬取
- 3AIGC基于文本生成音乐，现在压力来到配乐行业这边｜Github
- 4写一个判素数的函数，在主函数输入一个整数，输出是否为素数的信息_编写一个判定素数的函数,在主函数输入一个整数
- 55G移动通信网络整体架构_5g网络架构
- 6ZA303学习笔记九部署和管理Azure计算资源 Azure AD/配置MFA_微信小程序跟azure ad mfa
- 7文本数据清洗：去除噪声，提升模型性能_给文本去噪
- 8C语言 基本数据类型及大小
- 9Stable Diffusion WebUI 中文提示词插件 sd-webui-prompt-all-in-one
- 10python爬虫豆瓣读书top250+数据清洗+数据库+Java后端开发+Echarts数据可视化(一)_基于爬虫,数据清洗,echars数据可视化的项目
L1和L2正则
赞
踩
正则化
L1正则
L1正则化是所有参数的绝对值之和，这就要求所有参数的绝对值之和最小，求导，导数可能为1或-1，而绝对值的取值是大于等于0的，那么就可能导致某些参数在更新的时候趋于0
L2正则
L2正则化是所有参数平方和，导数为 2 w 2w 2w，每个参数更新的量与参数 w w w本身相关， w w w在更新时，会逐渐变慢， w w w逐渐变小趋于0，而不会变为0。
区别
L0和L1的区别：
- L0范数是指向量中非0的元素的个数，如果我们用L0范数来规则化一个参数矩阵W的话，希望W的大部分元素都是0。
- L0范数很难优化求解（NP问题）。
- L1范数是L0范数的最优凸近似，而且它比L0范数更容易优化求解。L1范数和L0范数可以实现稀疏，L1因具有比L0范数更好的优化求解特性而广泛应用。
L1和L2的区别：
- L1会趋向于产生少量的特征，而其他的特征都为0，L2会选择更多的特征，这些特征都趋于0。
- 使用L1可以得到稀疏的权值，用L2可以得到平滑的权值。
为什么
更小的权值
w
w
w，表示网络的复杂度更低，对数据的拟合刚刚好（奥卡姆剃刀法则）。设想一个线性回归模型，如果参数很大，只要数据偏移一点点，就会对结果产生很大的影响；但如果参数足够小，数据偏移的多一点不会对结果造成什么影响，也就是抗扰动能力强。
过拟合的时候，拟合函数的系数往往非常大，因为拟合函数需要顾忌每一个点，最终形成的拟合函数波动很大。在某些很小的区间里，函数值的变化很剧烈，这就意味着函数在某些小区间里的导数值（绝对值）非常大，由于自变量可大可小，所以只有系数足够大，导数值才能很大。
权值衰减
L2正则又被称为权值衰减
当loss不包含正则项是：
O
b
j
=
L
o
s
s
w
i
+
1
=
w
i
−
∂
o
b
j
∂
w
i
=
w
i
−
∂
L
o
s
s
∂
w
i
Obj=Loss\\ w_{i+1}=w_i-\frac{\partial_{obj}}{\partial_{w_i}}=w_i-\frac{\partial_{Loss}}{\partial_{w_i}}
Obj=Losswi+1=wi−∂wi∂obj=wi−∂wi∂Loss
当使用L2正则时：
O
b
j
=
L
o
s
s
+
λ
2
∗
∑
i
N
w
i
2
w
i
+
1
=
w
i
−
∂
o
b
j
∂
w
i
=
w
i
−
(
∂
L
o
s
s
∂
w
i
+
λ
∗
w
i
)
=
w
i
(
1
−
λ
)
−
∂
L
o
s
s
∂
w
i
Obj=Loss+\frac{\lambda}{2}*\sum_i^Nw_i^2\\ w_{i+1}=w_i-\frac{\partial_{obj}}{\partial_{w_i}}=w_i-(\frac{\partial_{Loss}}{\partial_{w_i}}+\lambda*w_i)=w_i(1-\lambda)-\frac{\partial_{Loss}}{\partial_{w_i}}
Obj=Loss+2λ∗∑iNwi2wi+1=wi−∂wi∂obj=wi−(∂wi∂Loss+λ∗wi)=wi(1−λ)−∂wi∂Loss
其中，
0
<
λ
<
1
0<\lambda<1
0<λ<1，所以具有权值衰减的作用。
在 PyTorch 中，L2 正则项是在优化器中 ( torch.optim ) 实现的，在构造优化器时可以传入 weight decay 参数，对应的是公式中的
λ
\lambda
λ。
