AIGC实战——Transformer模型_aigc中transformer

作者：你好赵伟 | 2024-06-30 10:26:54

踩

aigc中transformer

AIGC实战——Transformer模型

0. 前言

我们在 GPT (Generative Pre-trained Transformer) 一节所构建的 GPT 模型是一个解码器 Transformer，它逐字符地生成文本字符串，并使用因果掩码只关注输入字符串中的前一个单词。另一些编码器 Transformer，不使用因果掩码，而是关注整个输入字符串以提取有意义的上下文表示。对于一些其他任务，如语言翻译，可以使用编码器-解码器 Transformer，将一个文本字符串翻译为另一个文本字符串，这类模型包含编码器 Transformer 块和解码器 Transformer 块。下表总结了三种类型的 Transformer 模型，其中列出了每种架构的典型模型和用途。

类型	典型模型	应用
Encoder	BERT	文本分类，命名实体识别，抽取式问答
Encoder-Decoder	T5	翻译，问答
Decoder	GPT-3	文本生成

编码器 Transformer 的一个经典模型是 Google 开发的双向编码器自注意力转换 (Bidirectional Encoder Represent

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/772330