吴恩达2022机器学习专项课程(一） 3.4 成本函数的直观理解

问题预览

1. 成本函数的目的是什么？
2. 不同的w参数如何影响成本函数？
3. 如何选择合适的成本函数？

解读

• 成本函数：为了衡量参数w和b与训练数据的吻合程度。成本函数越小，w和b越合适。
• 简化成本函数：为了方便理解成本函数，只需找到让成本函数最小化的w参数即可。
• 不同的w参数
  • 图片解释：左侧图：横纵轴对应训练样本xy。红×：训练集的数据。右侧图：横轴对应w的值，纵轴对应成本函数的值。最下方公式：代入当前w，计算成本函数的值。
  • w=1:粉色线条表示模型，将w的值代入成本函数，计算结果为0。表示当前参数w为1时，模型能够完美预测训练集的数据，没有误差。
  • w=0.5：紫色线条表示w为0.5时模型的样子，当我们给定训练集里的x，通过模型预测出y，和真实的y（红叉对应的y）有差异，图里用蓝色竖线标记出了差异，此时计算出的成本函数的值为0.58，表示有误差。
  • w=0：黄色线条表示模型的样子，当我们给定训练集里的x，通过模型预测出y，和真实的y差异更大了，此时计算出成本函数的值为2.3，误差比前两个w参数要大。
    w为其它值：通过设置不同的w，计算出不同的成本函数的值，成本函数与w的走势图如右图。
    
• 选择合适的w参数：在上述示例中，最合适的w参数为1，因为它的成本函数值为0，是最小的。但是，这只是简化后的例子，我们还需要考虑参数b，下节课会细讲。

总结

成本函数的作用，用于衡量模型预测值y帽与真实值y之间的差异。

通过简化模型（只考虑参数w）以及设置不同的w参数，我们看到了w和成本函数之间的关系。

我们的目的，是为了最小化成本函数，以便找到最合适的模型参数w。

成本函数最小化，是为了确保模型的预测尽可能接近真实数据，从而提高模型的性能和可靠性。