深度学习概念

AIGC数据生产：

AIGC在生成小图片时效果更佳(因为小图信息量更少，相同算力下效果更好)；所以适合构造一些交通场景。比如护栏损坏：只mask原图的部分区域(图中白色区域)，即可引导模型在mask处生成损坏的护栏。

基于此方法，可以大量生成交通稀缺样本用于模型训练。

数据挖掘：

多模型开集检索：多模态在此处指模型同时具备处理图像和文本的能力，开集是可以输入任意文本。

利用大模型对项目上采集的大量数据进行预处理生成特征底库。利用文本特征(比如用"塑料袋"文本生成的特征)在底库中进行搜索，对搜索结果进行topK排序，即可从大量数据中获取到包含塑料袋的图片。

基于此方法，可以基于大量真实数据 搜索到稀缺样本 用于 模型训练。

数据标注：

主动学习指：使用训练好的模型对Raw data(比如项目上收集的大量数据)做检测，人工校验后形成训练集；

使用大模型模拟主动学习的过程：

        1. 大模型对Raw data做检测，初步形成训练集(内部可能有错误标注)

        2. 使用置信学习，对1中的训练集进行进一步处理形成最终训练集(错误标注大大降低)

关于置信学习，参考
https://zhuanlan.zhihu.com/p/394985481
https://github.com/cleanlab/cleanlab

此方法，几乎不需要人工参与，达到了半监督学习的效果，可大量自动化生成训练数据

模型训练：

蒸馏：利用交通大模型(推理成本高、速度慢) 生成小模型(推理成本低、速度快) ；类似老师(大模型)教学生(小模型)

混合位置蒸馏：小模型的学习目标不只是logits特征，还包括了 卷积特征；理论上蒸馏效果更好

混合架构蒸馏：大模型和小模型的结构不同，比如用transformer架构训练的大模型，蒸馏到纯CNN架构的小模型， 或蒸馏到同时包含transformer、CNN架构的小模型；

预训练蒸馏：指使用已经训练好的模型 蒸馏小模型

训练时蒸馏：相对预训练蒸馏而言，训练时蒸馏指同时训练大模型和小模型，可以让小模型学习到大模型的动态能力