赞
踩
Zhu, Xiaofeng, et al. “Frosting Weights for Better Continual Training.” 2019 18th IEEE International Conference On Machine Learning And Applications (ICMLA). IEEE, 2019.
问题依旧是解决深度学习灾难性遗忘问题,详见深度学习之灾难性遗忘问题与PRN(20200816):A Hierarchical Deep Convolutional Neural Network for Incremental Learning [Tree-CNN]中的介绍。
但是,作者在引言第五段中,明确指出,该文可作为Continual learning的一个特殊案例,因为该论文的关注点以及数据的设置方置与Continual learning是有区别的。
在Continual learning与Sequential learning中,只有新数据是可用于模型训练的。
作者称该文的目的与Continual learning与Sequential learning有所区别,此处是为了保证:重新训练的模型在新旧数据上都能有很好的性能。所以,该文在遇到新数据时,会将新数据与部分旧数据一齐对网络进行重训练。作者补充说:为了保证计算量不会随着新数据增加而越来越大,论文采用固定大小的训练集,也即新数据+旧数据的总数是一个常值。论文中相关的数据筛选方法却未给出。当然,还有一系列疑点会在下文给出。
作者缓解灾难性遗忘问题的方法属于集成模型类方法,主要贡献是提出了两种集成模型(BoostNet与FrostNet)用于持续的训练任务。
该文的目标是持续的学习到一个更加泛化的网络,即能够通过获取新数据中知识来修正历史训练的模型的错误。
为了更好的理解方法,先给出论文训练的过程:
想法很纯朴,但是BoostNet的问题是,每次新数据到来时,都需要新建一个网络来拟合前面网络的残差。
对于预训练的网络,如果有新数据加入,则在每层有参数连接的网络间添加一层以参数作为输入的结霜网络层,然后用新旧各一半的数据集对添加结霜层的网络进行训练。训练结束,将结霜层与网络本身的参数相乘得到网络新的参数。其实就是训练了网络参数的系数。训练新网络其实就是训练一个层数更多的包含参数结霜层的网络。
开始,由于本人对该论文有过多的期待,所以导致“Frosting”结霜这个词在我脑海中很神奇。潜意识里就没有往那个较粗暴的路上去理解这个结霜网络。下面是之前该博客里的内容,是不是充满了对知识的渴望,充满了一个求知者的弱小无助。。。=^=
没看懂,我把原文贴出来(看懂的大神请告诉小弟):
由于没看懂,所以不评价FrostNet的好坏。但是,论文这样写是不是太过简化了,重要的东西没有说出来。
为了避免有些人说我没有好好看,我贴出我与作者交流的邮件内容来证明我是有多想弄清这个结霜网络到底是如何结霜的:
我给作者的邮件[不惜贴上我蹩脚的英文]:
作者的回复:
首先,感谢作者的回复,还是挺和气。可是,真的没有回答到点子上。唉,也不想继续在此逗留,回了句Thank you very much就撤了。
以上是引用博客之前的内容。
昨天晚上,研究生导师说查资料看到我这篇博客:
好吧,其实我很不愿意相信这个事实:
再次感谢恩师!
此段记于此,谨表谢意!
by windSeS
2020.10.13
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。