batch、batch_size、iteration / step、epoch 含义_batch size 与batch

• epoch：周期, 表示把所有的训练集输入到模型完整地训练一遍
• batch：批, 模型训练时，往往不是一次性把所有的训练集输入到模型中，而是把训练集分成较小的批，即分成一个个的 batch
• batch_size：批大小, batch 的大小
• iteration / step：迭代, 一个 iteration / step，更新一次参数权重，即进行一次学习，每一次更新参数需要 batch_size 个样本进行运算学习，根据运算结果调整更新一次参数

例如：
假设训练集中有 2000 个样本，把训练集的 2000 个样本一个不漏地输入到模型中，让模型进行学习，即为 1 个 epoch；训练的时候 2000 个样本太多了，分小一点，若分成 10 份，则 batch = 10；batch_size = 2000/10 = 200；此时，每次输入到模型的样本数为 batch_size 大小，即每一次输入 200 个样本；每输入一个 batch_size 大小的样本，模型则学习一次，更新一次参数，即一个 iteration / step。