赞
踩
最重要的是batchsize的理解,所以放在前面
若BATCH_SIZE=m(训练集样本数量) | 相当于直接抓取整个数据集,训练时间长,但梯度准确。但不适用于大样本训练,只适用于小样本训练,但小样本训练一般会导致过拟合现象,因此不建议如此设置。 |
---|---|
若BATCH_SIZE=1 | 梯度变化波动大,网络不容易收敛。batch_size=1时为在线学习,也是标准的SGD,数据量不大且noise数据存在时,模型容易被noise带偏。 |
若BATCH_SIZE设置合适 | 效率、速度、准确性。gpu满载效率提高;批次减小速度加快;梯度下降方向准确 |
此时再增加BATCH_SIZE大小,梯度也不会变得更准确。
1)batch数太小,而类别又比较多的时候,真的可能会导致loss函数震荡而不收敛,尤其是在你的网络比较复杂的时候。
2)随着batchsize增大,处理相同的数据量的速度越快。
3)随着batchsize增大,达到相同精度所需要的epoch数量越来越多。
4)由于上述两种因素的矛盾, Batch_Size 增大到某个时候,达到时间上的最优。
5)由于最终收敛精度会陷入不同的局部极值,因此 Batch_Size 增大到某些时候,达到最终收敛精度上的最优。
7)具体的batch size的选取和训练集的样本数目相关。在保证运算效率情况下,batch size由大到小依次尝试
一批数据(batchsize数量的图像)进行一次权重更新叫做一个batch
batch = 样本数 / batchsize
一个batch的过程叫做一次迭代,一次迭代需要batchsize数量的数据
把所有的样本数量分成好多份,每一份的数量(批次大小)叫一个batchsize;每一份叫一个batch;每一份的运算过程(一次迭代)叫iteration;所有样本数量的一次训练叫一个epoch
batch size设置技巧 谈谈batchsize参数
深度学习中BATCH_SIZE的含义
目标检测算法常见标识物体位置的框:
边界框(bounding box)可以是真实框也可以是预测框,他是指目标物体的最小外边界框。真实框(Ground truth box)是人工标注目标物体而来,为了方便预测目标物体周围会生成好多大小不一的预选框也就是锚框(Anchor box),而现在的锚框与真实框是有差距的,对于锚框与真实框差距的计算和补偿最后产生了预测框(Prediction box)。
参考链接:目标检测算法中的真实框、预测框和锚框
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。