Transformer入门基础知识_transformer基础

作者：笔触狂放9 | 2024-07-26 04:11:54

踩

transformer基础

Transformer是一种面向机器翻译领域的Seq2Seq 编码器-解码器模型，即输入是一种语言，输出是另一种语言。本文将介绍一下Transformer入门的一些必备知识。

要想把单词输入神经网络，需要将单词进行编码，与ASCII码不同，神经网络所使用的编码往往并不高效，而是更稀疏，从而方便网络提取和使用词的特征。

One-Hot编码是一种比较简单的单词编码方式。假设我们现在有单词数量为

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/笔触狂放9/article/detail/883515