Bishop 模式识别与机器学习读书笔记_ch1.3 决策论与信息论基础_bishop 这本书讲了什么

ch1.3 决策论与信息论

---

文章目录

• • ch1.3 决策论与信息论
  • @[toc]
  • • • 1. 模型选择
      • • 1.1 交叉验证
        • 1.2 交叉验证的弊端
      • 2. 维数灾难
      • • 2.1 基于直角坐标系的网格分析法
        • 2.2 存在的问题
      • 3. 决策论
      • • 3.1 最小化误分率
        • 3.2 最小化期望损失
        • 3.3 拒绝选项
        • 3.4 推断与决策
        • 3.5 回归问题的损失函数
      • 3.6 信息论

1. 模型选择

---

最小二乘法拟合多项式曲线的例子中，可以获得多项式的最佳阶数并给出了最佳的推广。

• 多项式的阶数控制模型中自由参数的个数，从而控制模型的复杂度。
• 利用正则化最小二乘法，正则化系数 $\lambda$ 也控制模型的有效复杂度，而对于更复杂的模型，如混合分布或神经网络，则可能有多个参数控制复杂度。

在实际应用中，我们需要确定这些参数的值，这样做的主要目标通常是在新数据上获得最佳的预测性能。此外，除了为给定模型中的复杂度参数找到适当的值外，我们可能还希望考虑一系列不同类型的模型，以便为我们的特定应用找到最佳的模型。

---

1.1 交叉验证

• **