【研究周报】第1周_gan 教师 学生网络复原

学习周期：
2023.02.27～2023.03.04

内容产出：
2篇csdn博客：【DAFL无数据学习】&【增量学习】

论文阅读：

1.Data-Free Learning of Student Networks

总结：本文提出了一种有效的无数据训练方法，成功地组合了GAN和教师-学生网络，并设计了适用于这篇文章中GAN模型的新型损失函数，对多个经典数据集和经典网络进行了实验。

总体的网络结构：

网络训练的流程：

1. 进行一次GAN的训练（只训练生成器generator）并更新参数（梯度下降）；
2. 将生成网络generator生成的数据输入到教师网络和学生网络中，进行知识蒸馏对学生网络进行更新。

GAN损失函数的设计：

1.one-hot损失函数L_oh

z = Variable(torch.randn(opt.batch_size, opt.latent_dim)).cuda()
optimizer_G.zero_grad()
gen_imgs = generator(z)
outputs_T, features_T = teacher(gen_imgs, out_feature=True)   
pred = outputs_T.data.max(1)[1]
loss_one_hot = criterion(outputs_T,pred)#此处的criterion为交叉熵损失函数
1
2
3
4
5
6

2.激活损失函数 L_a

loss_activation = -features_T.abs().mean()
1

3.生成图像的信息熵损失函数 L_ie

softmax_o_T = torch.nn.functional.softmax(outputs_T, dim = 1).mean(dim = 0)
loss_information_entropy = (softmax_o_T * torch.log10(softmax_o_T)).sum()
1
2

2.Self-Sustaining Representation Expansion for Non-Exemplar Class-Incremental Learning

总结：本文提出了一个新颖的自我维持的表征扩展方案，包括一个结构重组策略，该策略融合了主枝扩展和侧枝更新来保持旧的特征，以及一个主枝蒸馏方案来转移不变的知识。此外，还提出了一种原型选择机制，通过有选择地将新样本纳入蒸馏过程来提高新旧类别之间的区分度。

问题描述：

标准范式：

自我维持代表扩展
A.动态结构重组Dynamic Structure Reorganization:
DSR包含Structural Expansion与Structural Reparameterization两个部分。为学习类留出结构化空间，同时通过在主支保持旧知识和在分支融合更新来稳定地保留旧类空间。

B. 主支蒸馏MBD&原型选择机制PSM：
MBD:通过对齐旧类上的不变分布知识来保持新网络相对于旧特征的区分。
PSM:为了减少新的增量类和原始类之间的混淆。

---

其他学习：

1. 阅读了知识蒸馏与增量学习相关的文献，博客，并有了大致的了解。
2. 阅读了第一篇论文损失函数定义以及训练过程的代码。代码连接

---

未解疑问：

Self-Sustaining Representation Expansion for Non-Exemplar Class-Incremental Learning中优化部分的这一部分：增量分类器校准Incremental Classifier Calibratio没有太理解，下周将继续学习。

下周计划：

• 完成本周未解决的工作
• 阅读论文Dreaming to Distill: Data-free Knowledge Transfer via DeepInversion
• 产出1-2篇博客
• 进行代码复现