conditional layer normalization

作者：繁依Fanyi0 | 2024-05-27 09:27:06

踩

一、Layer Normalization公式

1）计算各层的期望μ和标注差σ

在这里插入图片描述

l表示第l个隐藏层，H表示该层的节点数，a表示某一个节点在激活前的值，即a=w*x。

2）标准化

在这里插入图片描述

g和b分别表示增益和偏置参数，可以纳入训练随样本一群训练。

3）加入激活函数输出

在这里插入图片描述

二、Conditional Layer Normalization

这个思路主要来源于苏剑林的博客基于Conditional Layer Normalization的条件文本生成

比如先确定类别，然后按类别随机生成文本，也就是Conditional Language Model；又比如传入一副图像，图像就是前提条件，来生成一段相关的文本描述，也就是Image Caption。

具体实现，将条件通过不同的矩阵变换(即线性映射)分别变成和上述公式中g和b一样的维度，然后将变换结果加到g和b上去：

在这里插入图片描述

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/630964