赞
踩
这个方法在SSD里面用到,主要是因为不同尺度的feature的大小差的比较多,所以需要进行norm,实现细节如下:
- class L2Norm(nn.Module):
- #参数:输入特征图的通道数,缩放像素值到达的范围
- def __init__(self,n_channels, scale):
- super(L2Norm,self).__init__()
- self.n_channels = n_channels
- self.gamma = scale or None
- self.eps = 1e-10
- self.weight = nn.Parameter(torch.Tensor(self.n_channels))
- self.reset_parameters()
-
- def reset_parameters(self):
- init.constant_(self.weight,self.gamma)
-
- def forward(self, x):
- norm = x.pow(2).sum(dim=1, keepdim=True).sqrt()+self.eps
- #x /= norm
- x = torch.div(x,norm)
- out = self.weight.unsqueeze(0).unsqueeze(2).unsqueeze(3).expand_as(x) * x
-
- return out
scale的意思就是*20,归一化从0~1调整到0~20。这个地方不是正则化,是归一化。
正则化的意思是,参数的平方和要最小,lambda是一个惩罚项系数,也可以是理解为超参数,控制一个比重的。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。