深度学习 精选笔记（9）分布偏移

学习参考：

• 动手学深度学习2.0
• Deep-Learning-with-TensorFlow-book
• pytorchlightning

①如有冒犯、请联系侵删。
②已写完的笔记文章会不定时一直修订修改(删、改、增)，以达到集多方教程的精华于一文的目的。
③非常推荐上面（学习参考）的前两个教程，在网上是开源免费的，写的很棒，不管是开始学还是复习巩固都很不错的。

深度学习回顾，专栏内容来源多个书籍笔记、在线笔记、以及自己的感想、想法，佛系更新。争取内容全面而不失重点。完结时间到了也会一直更新下去，已写完的笔记文章会不定时一直修订修改(删、改、增)，以达到集多方教程的精华于一文的目的。所有文章涉及的教程都会写在开头、一起学习一起进步。

一句话概率概括分布偏移： 分布偏移（Distribution Shift）是指模型在训练和测试数据集之间的数据分布不匹配的情况。这种不匹配可能导致模型在测试集上的表现下降，因为模型在训练时学习到的特征在测试时可能不再适用。

在许多情况下，训练集和测试集并不来自同一个分布。这就是所谓的分布偏移。分布偏移可能由多种因素引起，包括数据采样方法的不同、环境变化、数据集的不平衡等。解决分布偏移的方法可以从数据层面和模型层面进行考虑。
数据层面解决方法：

• 领域自适应（Domain Adaptation）：通过在源域和目标域之间学习特征映射来适应不同的数据分布。
• 数据增强（Data Augmentation）：在训练数据上引入一些变化，使模型更加鲁棒，能够适应不同的数据分布。
• 重采样（Resampling）：调整数据集中不同类别或样本的比例，以减轻数据分布不平衡带来的影响。

模型层面解决方法：

• 迁移学习（Transfer Learning）：通过在一个任务上学习到的知识来改善在另一个相关任务上的泛化性能。
• 集成学习（Ensemble Learning）：结合多个模型的预测结果，以减少模型在测试时的方差，提高泛化能力。
• 对抗训练（Adversarial Training）：通过引入对抗样本来训练模型，使其对输入数据的微小扰动更加鲁棒。

一、分布偏移的类型

考虑数据分布可能发生变化的各种方式，以及为挽救模型性能可能采取的措施。 在一个经典的情景中，假设训练数据是从某个分布