一部分神经网络组件解析(各类 Normalization）_adaptive layer norm

Adaptive Instance Normalization (AdaIN Normalization) ：
链接: link

Instance Normalization：

Layer Normalization&&Batch Normalization：

attention和rnn用的是layer norm而不是batch norm的
layer norm希望的是一个batch u = 0
σ=1，而batch norm是希望一种特征 u = 0 ，σ=1。

链接: link
这个把Normalization讲的清楚

ResBlock：resnet
Non-local-Block：注意力机制核心就是给元素以不同的权重
链接: link

ASPP(空洞卷积金字塔）：不进行下采样，就可以获取较多范围的信息
链接: link