当前位置:   article > 正文

Transformer三种模型解释_基于transformer的三类模型、

基于transformer的三类模型、


链接:https://www.zhihu.com/question/614100982/answer/3482741161

 

总共有三种不同分类的生成式 Transformer 模型:仅编码器(encoder-only)、仅解码器(decoder-only) 和编码器-解码器(encoder-decoder)。每类模型都使用了不同的训练目标进行过训练,以解决不同类型的生成任务。

仅编码器的基础模型(Encoder-only Foundation Models)/自动编码器 (autoencoder)。

这一类的模型,使用了一种名为 掩码语言模型 (MLM) 的技术进行了预训练。在预训练的过程中,掩码语言模型会随机掩盖输入 token,并尝试预测被掩盖的 token。模型利用输入的双向表示来理解 token 的完整上下文,而不仅仅是序列中前面的 token。

仅编码器模型适合的业务场景是:利用编码器生成 embeddings 的语言任务,例如文本分类等。这一类的模型,对文本生成这种生成类型的任务不太有用。这类基础模型有代表性的是 BERT模型等。

Embeddings 输出也适用于语义相似性搜索,这是一种超越简单关键词搜索的高级文档搜索算法。

仅解码器的基础模型(Decoder-only Foundation Models)/自回归模型

这一类模型,使用了单向因果语言模型 (CLM, causal language modelling) 进行预训练。CLM 只使用之前的 token 预测下一个token,其他所有 token 都被掩盖住。

解码器模型通过连续地从前面的token预测下一个token,来学习统计语言表示。这些模型是生成任务的标准模型,包括文本生成、问答等景点场景。著名的仅解码器模型包括:Amazon Titan、GPT、Falcon 和 Llama等等。

既使用了编码器,又使用了解码器的基础模型(Encoder-decoder Foundation Models)/序列到序列模型

这类基础模型(例如:FLAN-T5)使用称为“连续多token掩盖”进行预训练。然后,解码器尝试重建掩盖的token序列。

序列到序列模型可以用于翻译、文本摘要等任务。T5 和其微调后的FLAN-T5 是著名的编码器-解码器的基础模型,用于广泛的生成性语言任务。

生成模型(Generative Models)

具有编码器-解码器和仅解码器架构的模型都被称为生成模型(Generative Models),因为它们能够创建新的内容。这些模型比仅编码器模型更复杂,训练成本也更高。

对于基础模型的入门者而言,如何自己亲自动手,部署基础模型到实践或者生产环境中,往往有些无所适从。别担心,亚马逊云科技提供了多种基础模型的快速部署服务和解决方案,比如:Amazon SageMaker JumpStart、Amazon Bedrock等等

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/码创造者/article/detail/873599
推荐阅读
相关标签
  

闽ICP备14008679号