预训练与微调_先训练一个模型然后用小数据集微调

作者：菜鸟追梦旅行 | 2024-05-26 05:58:21

踩

先训练一个模型然后用小数据集微调

随机初始化模型参数，然后开始训练网络，不断调整参数使得损失函数越来越小，在这个过程中，当你觉得结满意的时候将参数保存下来。

之后，你如果需要进行一个类似的任务，就将之前保存的模型参数作为这个新任务的初始化参数，然后再进行调参，由于此时的调整只是一些微小的调整了，所以叫作微调fine-tuning（将预训练过的模型作用于自己的数据集，使参数适应自己的数据集）。

总结：也就是说，预训练就是不再对模型参数进行随机初始化，而是用预训练得到的参数进行初始化

实际上，很少有人直接从头训练一个网络，因为自己一般不可能拥有一个足够大的数据集，可能只有几百张，几千张，不可能像ImageNet那样有120万张那样的规模，所以一般都是先在大数据集上进行预训练，然后将这套参数对模型进行参数初始化，然后再放到我们的数据集上进行微调。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/菜鸟追梦旅行/article/detail/625455