白话transformer（四）：整体架构介绍_transformer整体框架和关键运算流程描述

作者：码创造者 | 2024-07-11 03:05:30

踩

transformer整体框架和关键运算流程描述

transformer现在是最主流的深度学习框架，尤其是大模型的流程让transformer的作用更加凸显，他可以对话、分类、生成文本等功能，那么他到底是如何工作的呢。

相信大家在使用手机聊天的输入法时，都会注意到，当你输入文字后，会有很多的选项，那么这些选项是如何而来的呢？

在这里插入图片描述

2、N_gram

在这里插入图片描述
当我们输入最近怎______时，手机一般会给出很多的提示，这些提示我们可以发现都是和怎相关的词组，这些可以选择的词组是如何来的呢？

比如我们使用一个数据集来训练一个模型，那么模型就会将数据集里面涉及到的怎后面所有的情况列举在这里，并按照出现的频率进行排序，让我们进行好选择，这种方法被称为1-Gram，就是根据前面一个词来选择后面生成的词。

再来看看3-Gram

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/码创造者/article/detail/808552