【超越拟合：深度学习中的过拟合与欠拟合应对策略】_dropout层

如何处理过拟合

由于过拟合的主要问题是你的模型与训练数据拟合得太好，因此你需要使用技术来“控制它”。防止过拟合的常用技术称为正则化。我喜欢将其视为“使我们的模型更加规则”，例如能够拟合更多类型的数据。

让我们讨论一些防止过拟合的方法。

获取更多的数据

拥有更多数据使模型有更多机会学习模式，这些模式可能更适用于新样本。

标题简化模型

如果当前模型已经过拟合训练数据，则模型可能过于复杂。这意味着它对数据模式的学习太好了，无法很好地泛化到未见过的数据。简化模型的一种方法是减少其使用的层数或减少每层中隐藏单元的数量。

标题数据增强

数据增强以某种方式操纵训练数据，使模型更难学习，因为它人为地为数据添加了更多多样性。如果模型能够学习增强数据中的模式，则该模型可能能够更好地泛化到未见过的数据。

标题迁移学习

迁移学习涉及利用模型已学会的模式（也称为预训练权重）作为你自己的任务的基础。在我们的例子中，我们可以使用一种在多种图像上进行预训练的计算机视觉模型，然后稍微调整它以更加专门用于食品图像。

标题dropout 层

dropout 层随机删除神经网络中隐藏层之间的连接，有效地简化了模型，同时也使剩余的连接变得更好。

标题学习率衰减

这里的想法是在模型训练时慢慢降低学习率。这类似于伸手去拿沙发后面的硬币。距离越近，脚步就越小。与学习率相同，越接近收敛，你希望权重更新越小。

标题提前停止

提前停止会在模型开始过拟合之前停止训练。例如，假设模型的损失在过去 10 个 epoch 内已停止减少（该数字是任意的），你可能希望在此处停止模型训练并使用损失最低的模型权重（之前的 10 个 epoch）。

处理过拟合的方法有很多，但这些是一些主要的方法。

当你开始构建越来越多的深度模型时，你会发现由于深度学习非常擅长学习数据模式，因此处理过拟合是深度学习的主要问题之一。

如何处理欠拟合

当模型拟合不足时，它被认为对训练和测试集的预测能力很差。从本质上讲，欠拟合模型将无法将损失值降低到所需的水平。

现在，看看我们当前的损失曲线，我认为我们的 TinyVGG 模型 model_0 与数据拟合不足。

处理欠拟合的主要思想是提高模型的预测能力。有很多种方法可以实现这一点。

添加更多的层/隐藏单元

如果你的模型拟合不足，它可能没有足够的能力来学习预测所需的数据模式/权重/表示。为模型添加更多预测能力的一种方法是增加这些层中隐藏层/单元的数量。

调整学习率

也许你的模型的学习率一开始就太高了。它试图在每个 epoch 过多地更新其权重，从而没有学到任何东西。在这种情况下，你可以降低学习率并看看会发生什么。

迁移学习

迁移学习能够防止过拟合和欠拟合。它涉及使用以前工作模型中的模式并根据你自己的问题进行调整。

增加训练次数

有时模型只是需要更多时间来学习数据的表示。如果你发现在较小的实验中你的模型没有学到任何东西，也许让它多训练几次可能会带来更好的性能。

使用较少的正则化

也许你的模型拟合不足，因为你试图防止过拟合。抑制正则化技术可以帮助你的模型更好地拟合数据。

过拟合和欠拟合之间的均衡

上面讨论的方法都不是灵丹妙药，这意味着它们并不总是有效。防止过拟合和欠拟合可能是机器学习研究最活跃的领域。

由于每个人都希望他们的模型拟合得更好（更少欠拟合），但又不太好，所以他们不能很好地概括并在现实世界中表现良好（更少过拟合）。过拟合和欠拟合之间有一条微妙的界限。因为其中任何一个太多都会导致另一个。

当涉及到处理自身问题的过拟合和欠拟合时，迁移学习可能是最强大的技术之一。迁移学习不是手动设计不同的过拟合和欠拟合技术，而是使你能够在与你的问题空间类似的问题空间中采用已经工作的模型（例如来自 paperwithcode.com/sota 或 Hugging Face 的模型）并将其应用到你自己的数据集。