赞
踩
首先给大家引入一个github博客,这份代码是我在看了4份transformer的源码后选出来的,这位作者的写法非常易懂,代码质量比较高。GitHub - Separius/BERT-keras: Keras implementation of BERT with pre-trained weights
这篇文章主要跟大家分享四个点:多头机制(multi-head)、LN和GELU、位置编码。
在这再给大家安利几篇博客,便于大家更具体的理解自注意力的内在原理。
Attention机制详解(二)——Self-Attention与Transformer - 知乎(精华)
自然语言处理中的自注意力机制(Self-attention Mechanism) - robert_ai - 博客园
transformer是self-attention的落地或者说扩展,多头机制把自注意力机制发挥得淋漓尽致。transformer最亮眼的地方就是完全抛弃了常规的链式RNN结构(包括LSTM等其他变体),即:并行计算能力特别弱的计算方法。它应该会是早期NLP训练技术跟当期技术的一个里程碑,毕竟人家BERT是吧,刷新了不造几个记录,虽然XLNET又刷新了BERT的记录,但是这也正证实了这种设计理念的优秀!优秀啊。。。[斜眼笑]。。。
言归正传!
一、自注意力机制(self-attention)和多头机制(mutil-head)
常规的语言生成模型长这样
下一个字的生成,依靠且只依靠上一个字的输出状态和当前输入的输入状态,
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。