吴恩达2022机器学习专项课程(一）8.1 过拟合

什么是过拟合？

模型对训练集数据的拟合非常好，但它在新的、未见过的数据上的表现却较差。

如何解决过拟合？

正则化（后续课程会详细说明），它帮助你最小化出现过拟合的概率。

什么是泛化？它跟过拟合有什么关系？

泛化代表模型对训练集之外的数据的预测能力。给定一个训练集之外的x，如果模型能很好的预测，则代表泛化能力强，反之则代表泛化能力弱。模型过拟合，就会导致模型的泛化能力弱。

过拟合案例

线性回归和逻辑回归都可能存在过拟合问题。

线性回归

线性回归的欠拟合

此模型没有很好的拟合训练集数据，因此模型欠拟合，欠拟合又叫高偏差。

线性回归较好的拟合

模型能较好的拟合训练集的数据，因此这个模型具备较好的泛化能力，是理想模型。

线性回归的过拟合

过拟合又叫高方差，此模型呈曲线完全拟合了所有的数据。此时注意粉色标记和虚线，模型如果预测面积更大的房价，可是该房价低于面积更小的房价，因此该模型过拟合，它对于新的数据的预测表现很差，泛化能力很弱。

逻辑回归

逻辑回归的欠拟合

此模型的决策边界没有很好区分训练集数据的类别。

逻辑回归的较好的拟合

此模型的决策边界较好的区分了不同类别的训练集数据。

逻辑回归的过拟合

此模型的决策边界完全区分了训练集的不同数据，产生了过拟合。

总结

过拟合是逻辑回归和线性回归都会存在的问题，它虽然能够完美的拟合数据，但也导致模型的泛化能力变弱，无法预测新数据。我们最终的目的是要找到一个既不欠拟合，也不过拟合的模型。