当前位置: article > 正文

基于术语词典干预的机器翻译挑战赛-Transformer#AI夏令营 #Datawhale #夏令营

作者：小桥流水78 | 2024-08-07 09:10:58

踩

首先，把模型看作一个单一的黑盒子。在机器翻译应用中，它会接收一种语言的句子，并输出另一种语言的译文。

打开Transformer，就可以看到编码组件、解码组件以及它们之间的连接。

编码器块部分是一堆编码器；解码器块是一堆数量相同的解码器。

编码器的结构完全相同（但不共享权重）。每个编码器都分为两个子层：

编码器的输入首先经自注意力层——该层帮助编码器在编码特定单词时查看输入句子中的其它单词。自注意力层的输出被输入一个前馈神经网络。完全相同的前馈网络被独立应用于每个位置。

解码器也有这两个层，但在它们之间还有一个注意力层，帮助解码器关注输入句子的相关部分（类似于 seq2seq 模型中的注意力）：

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小桥流水78/article/detail/941850