当前位置:   article > 正文

机器学习中L1正则化和L2正则化有什么区别?_机器学习中l1正则化和l2正则化的区别

机器学习中l1正则化和l2正则化的区别

1.正则化的作用

  机器学习中,如果参数过多,模型过于复杂,容易产生过拟合状态,故正则化的提出是为了一定程度上避免过拟合。比如,常见的L1和L2正则化。

2.正则化公式

L1:

L1正则化是在原来的损失函数基础上加上权重参数的绝对值。

L2:

L2正则化是在原来的损失函数基础上加上权重参数的平方和。

 

它们的直观解释参照红色石头博客https://blog.csdn.net/red_stone1/article/details/80755144

 

3.两者的比较

1.L1可以产生0解,L2可以产生趋近0的解

2.L1获得稀疏解,L2获得非零稠密解

3.如果事先假定只有非常少数的特征是重要的,可以用L1

 

4.举例直观理解

 

 

 

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小丑西瓜9/article/detail/574633
推荐阅读
相关标签
  

闽ICP备14008679号