论文笔记：Bag of Tricks for Long-Tailed Visual Recognition with Deep Convolutional Neural Networks_inaturalist 2018-lt

论文地址：http://www.lamda.nju.edu.cn/zhangys/papers/AAAI_tricks.pdf

代码地址：https://github.com/zhangyongshun/BagofTricks-LT

作者对于现有的对于long-tailed visual recognition中的tricks做了系统性的实验。

1. 通过大量的实验来验证哪些tricks组合到一起能提升精度，哪些却不能（论文更偏向于实验性报告，对于一些实验结果作者并没有详细说明其中的原因）
2. 作者发现了Mixup对于long-tailed 分类任务方面效果很好，尤其是先在input的时候做Mixup然后再在训练完成之后进行fine-tuning.
3. 作者基于CAM提出了一种新的数据增广方式:CAM-based，并证实了其和class-balance sampling组合到一起效果最好。

1、动机

​ 作者先表明metric learning、meta learning和knowledge transfer在long-tailed任务上已经取得了成功，但仍然存在几大问题。

• 现有的一些方法在训练时对于超参数很敏感

• 训练的过程很复杂

• 在真实场景下使用这些tricks实际上很难。

不同的tricks单独使用效果好，但是混合起来使用效果不一定会更好，有的甚至可能会更差。原因是其实有很多的tricks起到的作用相似，比如re-sampling和re-weighting都是让模型对于tailed classes更加注意，重叠到一起使用后可能会造成tailed classes的过拟合。

2、 Dataset

2.1、 Long-tailed CIFAR(CIFAR10、CIFAR100)

1、采样方式使用函数$n=n_t\ast {\mu }^t$ 其中$t$为类别的下标（从0开始），$\mu \in (0,1)$，$n_t$是原始的训练图片数量，$imbalancefactor=\frac{n_{largest}}{n_{smallest}}$其值可以取到$10\sim 200$实验一般选择50和100。

2、Preprocessing :

train:

• 在每条边填充4 pixels
• 随机裁减32*32区域
• 0.5概率随机翻转
• normalization

val:

• 保证图片长宽比的情况下将短的边resize到36 pixels
• 中心裁减32*32区间大小
• normalization

3、 backbone: ResNet-32

4、training details:

• batchsize：128

• epoch：200

• optimizer：momentum: 0.9

• weight decay： $2\ast 10^{-4}$

• learning rate scheduler： warmup (前5个epoch)+stepdecay（epoch到160和180时lr下降100倍）

2.2 iNaturalist 2018

1、这篇文章在iNaturalist2018的train和val上做的实验

2、Preprocessing:

train:

• use scale and aspect ratio data augmentation(Szegedy et al 2015）

• 224*224的随机裁减

• 随机翻转

• normalization

val:

• 保证图片长宽比的情况下将短的边resize到256 pixels
• 中心裁减224*224
• normalization

3、backbone：ResNet-50
4、training details:

• batchsize：512
• epoch：90
• optimizer：momentum:0.9
• weight decay：$1\ast 10^{-4}$
• learning rate scheduler：stepdecay（epoch到30、60、80下降10倍）

2.3 ImageNet-LT

1、（Liu19cvpr）用Pareto distribution在原本的ImageNet上面采样得到,1000类别，每类别$5\sim 1280$,共19K训练集

2、Preprocess：同iNaturelist2018

3、backbone：ResNet-10

3、training details：同iNaturalist2018

3、Tricks gallery

3.1 Re-weighting

​ 给尾部类更多的权重，让模型更加关注尾部类的表达。

参数说明：

• $c\in 1,2,\cdots ,C$：图片类别

• $z=[z_1,z_2,\cdots ,z_C]$：预测输出

• C：类别总数

• $n_{min}$：样本数量最少的类别

• $n_c$：c类别训练图片数量

1、CE(cross entropy loss)：

2、CS_CE(Cost-sensitive softmax cross-entropy loss)

3、Focal loss

其中$p_i=sigmoid(z_i)=\frac{1}{1+e^{z_i}}$

4、CB_Focal(Classi-balanced loss)

实验数据：

参照原loss原论文超参数设置，在CIFAR-10-LT上奏效，但是在CIFAR-100-LT上表现不好，实验结论是：在不同的数据集上直接使用re-weighting不work

3.2 Re-sampling

通过对实验数据重新采样，来得到均匀分布的数据集，论文中用到的方法有:

1、Random over-sampling：增加对于尾部类的采样，但是可能造成尾部类的过拟合

2、Random under-sampling：减少对于头部类采用，构造平衡数据集。

3、Class-balanced sampling:通过公式：

计算采样概率。（选择一个类别，再随机选择里面的样本）。

4、Square-root sampling：将公式（7）中的q取$\frac{1}{2}$，来采样一个更加平衡的数据集

5、Progressively-balanced sampling：在训练的过程中不断调整采样概率。

t：为当前的epoch数， T全部epoch数。

（4,5,6都来自于论文:DECOUPLING REPRESENTATION AND CLASSIFIERFOR LONG-TAILED RECOGNITION有兴趣的可以去看看)

实验数据：

实验结论：直接使用re-sampling能带来轻微的提升。

ps：从这个实验结果来看，在CIFAR-10-LT上，只有Class-balance sampling带来了轻微提升，而在CIFAR-100-LT上却只有Progressive-balance sampling有提升。感觉比较玄学，作者也并未给出理由，不知道是不是为了对比实验，超参数的设置原因导致的，只能具体做完实验后才能得出判断。（后补）

3.3 Mixup Training

作者对两种Mixup在long-tailed 数据集上进行实验，并和fine-tuning进行结合做了实验。

1、Input Mixup

作者只在训练阶段使用了Mixup，通过将两张图片之间进行线性插值的方式来减缓CNN的对抗性干扰。

2、Manifold mixup

（通过对网络中间层的输出做mixup）

3、fine-tuning

论文：Rethinking the distribution gap between clean and augmented data中表明：先使用mixup训练好模型后，再去掉mixup继续训练几个epoch,能让精度上升。

实验结果：

实验结论：

1、Input mixup和maniflod mixup都能带来提升，具体在不同的部分使用Mixup产生不同的结果，当$\alpha$取1, 在pooling层做mixup时效果最好，需要和其他的trick做更多的实验。

2、在Input Mixup后使用fine-tuning能带来提升，但是对于Manifold mixup却使结果变差

ps：对于这两个两个实验结果，作者并未给出理由。

4、Two-stage training

​ 两阶段训练就是先进行imbalance training 然后再使用balance training 进行fine-tuning。作者做了(deferred re-balancing by re-sampling)DRS和(deferred re-balancing by re-weighting)DRW两部分实验。并且作者提出了一种基于CAM的图像增广方式。先通过imbalance training后的模型对原图片进行预测得到class acivate map，然后将模型关注的区域提取出来，更换不同的背景（这里的背景图会先进行背景图片增强）后进行其他的数据增广来得到一张新的图片。

ps: 这里更换不同的背景，是指对这张图片本身的背景进行增强之后再把前景图片贴上去。（背景增广的方式有：1、rotate and scale, 2、translate， 3、horizontal filp）

​ 作者对CAM-based+re-sampling和DRW进行了实验。

CAM-based+Class-balanced sampling效果最好，而DRW中CS_CE效果最好。

5、Trick combinations

1、作者将表7和表8中表现最好的两个Trick(CS_CE和CAM-BS)组合到一起，却发现效果反而变差了一些，作者说原因是CS_CE和Class-balance sampling都是让模型更注重与尾部类的表达导致了尾部类的过拟合。

2、将Input mixup和manifold mixup组合后Input mixup效果比manifolde mixup好

ps: 1、从表9和表10中可以发现，使用了Manifold mixup之后对于imbalance factor=100的情况变好了。但是对于imbalance factor=50的情况变差了。挺好奇这里原因是什么

最后一个表：

作者将Input Mixup和DRS+CAM-BS+fine-tuning进行组合达到了最好的效果。
总体效果：

作者没有给CAM-base单独做实验，感觉可以去试一下单独用CAM-base做实验效果如何。

以上ps的地方为个人看法，如有错误请指出，非常感谢。

ps：本贴写于2022-8-04, 未经本人允许，禁止转载。