当前位置:   article > 正文

L2norm_class l2norm(nn.module): def __init__(self, in_fea

class l2norm(nn.module): def __init__(self, in_features, scale): super(l2nor

这个方法在SSD里面用到,主要是因为不同尺度的feature的大小差的比较多,所以需要进行norm,实现细节如下:

  1. class L2Norm(nn.Module):
  2.     #参数:输入特征图的通道数,缩放像素值到达的范围
  3.     def __init__(self,n_channels, scale):
  4.         super(L2Norm,self).__init__()
  5.         self.n_channels = n_channels
  6.         self.gamma = scale or None
  7.         self.eps = 1e-10
  8.         self.weight = nn.Parameter(torch.Tensor(self.n_channels))
  9.         self.reset_parameters()
  10.         
  11.     def reset_parameters(self):
  12.         init.constant_(self.weight,self.gamma)
  13.         
  14.     def forward(self, x):
  15.         norm = x.pow(2).sum(dim=1, keepdim=True).sqrt()+self.eps
  16.         #x /= norm
  17.         x = torch.div(x,norm)
  18.         out = self.weight.unsqueeze(0).unsqueeze(2).unsqueeze(3).expand_as(x) * x
  19.         return out

scale的意思就是*20,归一化从0~1调整到0~20。这个地方不是正则化,是归一化。

正则化的意思是,参数的平方和要最小,lambda是一个惩罚项系数,也可以是理解为超参数,控制一个比重的。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/我家小花儿/article/detail/73053
推荐阅读
相关标签
  

闽ICP备14008679号