赞
踩
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
迁移学习
迁移学习(Transfer learning): 顾名思义就是把已训练好的模型(预训练模型)参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务都是存在相关性的,所以通过迁移学习我们可以将已经学到的模型参数(也可理解为模型学到的知识)通过某种方式来分享给新模型从而加快并优化模型的学习效率不用像大多数网络那样从零学习。
迁移学习又被定义为:迁移学习和域适应指的是在一种环境中学到的知识被用在另一个领域中来提高它的泛化性能。
其中,实现迁移学习有以下三种手段:
- Transfer Learning:冻结预训练模型的全部卷积层,只训练自己定制的全连接层。
- Extract Feature Vector:先计算出预训练模型的卷积层对所有训练和测试数据的特征向量,然后抛开预训练模型,只训练自己定制的简配版全连接网络。
3.Fine-tuning:冻结预训练模型的部分卷积层(通常是靠近输入的多数卷积层,因为这些层保留了大量底层信息)甚至不冻结任何网络层,训练剩下的卷积层(通常是靠近输出的部分卷积层)和全连接层。迁移学习在某些深度学习问题中是非常受欢迎的,例如在具有大量训练深度模型所需的资源或者具有大量的用来预训练模型的数据集的情况。仅在第一个任务中的深度模型特征是泛化特征的时候,迁移学习才会起作用。
理想情况下,在一个成功的迁移学习应用中,将会获得以下益处:
- 更高的起点:在微调之前,源模型的初始性能要比不使用迁移学习来的高。
- 更高的斜率:在训练的过程中源模型提升的速率要比不使用迁移学习来得快。
- 更高的渐进:训练得到的模型的收敛性能要比不使用迁移学习更好。
因为将候选区域与CNNs结合,所以该方法称为R-CNN:Regions with CNN festures。
受 AlexNet 启发,论文作者尝试将 AlexNet 在 ImageNet 目标识别的能力泛化到 PASCAL VOC 目标检测上面来。CNN可以在 PASCAL VOC 有更好的目标检测表现。实现这个结果需要解决两个问题:
论文作者给出了以下思路:
借鉴了滑动窗口思想,R-CNN 采用对区域进行识别的方案。
具体是:
在辅助数据集(ILSVRC)上进行有监督的预训练,再在小数据集(PASCAL)上针对特定问题进行调优。(这里即是我们常说的 迁移学习)。这是在训练数据稀少的情况下一个非常有效的训练大型卷积神经网络的方法。
目标检测系统由三个模块构成:
region proposal),
**这些推荐定义了一个候选检测区域的集合。1.**区域推荐(region proposal):**采用了选择性搜索(selective search)以方便和前面的工作进行可控的比较。
**2.特征提取(Feature extraction):**对每个候选区域抽取一个4096
维度的特征向量(AlexNet作为特征提取的骨干网络),输入一个减去均值的大小为227X227 RGB的图片,通过五个卷积层和两个全连接层进行前向传播,最终得到一个4096维的特征向量。
对于候选框的预处理
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。