什么是过拟合（overfitting）

转自：用简单易懂的语言描述「过拟合 overfitting」？

https://www.zhihu.com/question/32246256

在机器学习选择模型的过程中，如果一味追求提高训练数据的预测能力，所选模型的复杂度则往往会比真模型更高，这种现象被称为过拟合，过拟合是指学习时选择的模型所包含的参数过多，以至于出现这一模型对已知数据预测得很好，对未知数据预测的很差的现象。 转自：https://www.jianshu.com/p/33f33714f08c

好比你想学习追妹子。
先找你表妹问喜欢什么，表妹说她喜欢干净帅气的男生，还说她喜欢周杰伦，喜欢火锅，喜欢酸菜鱼，合计一百条规矩。你规规矩矩地按照要求学习，终于符合表妹的一切要求，0 Error，训练完成，超级自信准备出去试试追个妹子。
可是换了个妹子，发现学到的似乎没想象中有用。第二个妹子只要你干净帅气。后面的九十八条她都不care，她甚至讨厌吃火锅，那后面98条只会增加误差。这就过拟合了。

怎么防止过拟合呢？应该用cross validation，交叉比对。
解释起来就是，你在你表妹那儿学到的东西，在你表姐那儿测试一下对不对。在你表姐那儿学到的，在你二姐那测试一下。来来回回用不同的测试对象和训练对象做交叉比对。这样学到规律就不会过拟合啦~

评论里有小伙伴提到加Regularization可以解决overfit，这里也形象地说一下。还是在学习追妹子。但是我也有男人的尊严！ 有底线！不能妹子说啥就是啥！今天我的底线是，不能无限量增加要学的规矩的数量！女人不能惯着！ 所以可以引入Lasso，对规矩的数量进行一个penalize。通俗说就是，妹子你让我学三条规矩我就忍了，让我学一百条规矩大爷就不干了。这个Regularization可以有不同的形式，Lasso是一种。所以可以通过引入Regularization增加信息，帮助寻找到最优解。

作者：刘文博
链接：https://www.zhihu.com/question/32246256/answer/83898785

 

用简单易懂的语言描述「过拟合 overfitting」？ - 疯癫的A兵者的回答 - 知乎 https://www.zhihu.com/question/32246256/answer/106829534

数据

正常拟合

过度拟合

 

防止过度拟合的方法：

https://blog.csdn.net/heyongluoyao8/article/details/49429629