caffe层笔记系列Loss层_caffe loss层

SoftmaxWithLoss

1. 可选参数
1) ignore_label
int型变量，默认为空。 如果指定值，则label等于ignore_label的样本将不参与Loss计算，反向传播时梯度直接置0。
2) normalize
bool型变量，即Loss会除以参与计算的样本总数，否则Loss等于直接求和。
3) normalization
enum型变量，默认为VALID,详细情况再查询资料。

2. 归一化方式
1) 只设置了normalize
A. normalize=True时，归一化方式为VALID.
B. normalize=False(default)时，归一化方式为BATCH_SIZE.
2) 设置normalization，此时归一化方式由normalization决定，不再考虑normalize。
3) Example
layer {
name: “loss”
type: “SoftmaxWithLoss”
bottom: “fc1”
bottom: “label”
top: “loss”
loss_param {
ignore_label: 1
normalize: True
normalization: FULL
}
}