「X」Embedding in NLP｜一文读懂 2023 年最流行的 20 个 NLP 模型_nlp 2023

在上一篇文章中，我们已经科普了什么是自然语言处理（NLP）、常见用例及其与向量数据库的结合。今天，依然是「X」Embedding in NLP 系列专题，本文为初阶第二篇，我们将深入介绍在 2023 年爆火的大语言模型 NLP 模型，包括 BERT、XLNet 等基础模型和 GPT、PaLM 等。

01.火爆 2023 年的 10 大大语言模型

大语言模型（LLM）是一种机器学习模型，可以执行各种 NLP 任务，包括文本翻译、回答问题、根据知识库分类和生成词汇等。大语言模型中的“大”体现在其架构使用的参数数量上，常见的 LLM 都包含数十亿个参数。以下是在 2023 年爆火且备受关注的 LLM。

OpenAI 推出的 GPT 系列

*GPT，全称 Generative pre-trained transformers，即生成式预训练 Transformer 模型

GPT-3

• 于2021年发布，包含 1750 亿个参数。

• 能够完成翻译、问答、写作论文，甚至生成代码等任务。

• 从模型架构而言，GPT-3 是只带有解码器（decoder）的 transformer 模型。

• 是最后一个由 OpenAI 公开参数数量的 GPT 模型。

• 自 2022 年 9 月起由微软独家使用。

GPT-3.5

• 2022 年推出的升级版 GPT 模型，包含参数更少。

• ChatGPT 训练所用的模型是基于 GPT-3.5 模型微调而来的。GPT-3.5 一经推出即迅速走红，短短五天内吸引 100 万用户，用户总数在 2 个月内达到 1 亿。

• GPT-3.5 模型基于截至 2021 年 9 月的数据进行训练，比之前版本的模型更具有时效性。

• 必应（Bing）搜索引擎中最初集成了 GPT-3.5，但目前使用的是 GPT-4。

GPT-4

• GPT 系列中的最新版本，于 2023 年发布。

• GPT-4 是多模态模型，支持图像和文本类型的输入。

• 在微软 Azure AI 的人工智能超级计算机上训练，比以往任何模型都更具创造力和协作性。

Google 推出的 PaLM 2

• 于 2023 年推出，展现 Google 在机器学习和 Responsible AI 领域积累的成果。

• 相比 PaLM，PaLM 2 基于并行多语言文本和更大的语料库进行预训练。

• 在高级推理、翻译和代码生成方面表现出色。

Meta 和 Microsoft 推出的 LLama2

• 于 2023 年发布，提供三种参数规格（70 亿、130 亿和 700 亿）的基础模型。

• LLama 2 Chat 包括基础模型和针对对话功能微调的模型。

• 功能丰富，性能强大，专为查询和自然语言理解等任务设计。

• Meta 专注于打造教育型应用产品，因此 LLaMA-2 是适用于 EdTech 平台理想的 AI 助手。

Anthropic 推出的 Claude 2

• 于 2023 年推出，擅长复杂的推理任务。

• 聚焦于 Constitutional AI，引导 AI 根据一些原则或规则进行自我完善和监督，避免产生有害或不友善的输出。

• Claude 2 是一个友好的助手，能够完成用户发出的各种自然语言指令。

xAI 推出的 Grok-1

• 埃隆·马斯克的公司 xAI 于 2023 年宣布推出 Grok-1，用于巧妙回答几乎所有问题。

• 灵感来源于《银河系漫游指南》。

• 通过

  声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/很楠不爱3/article/detail/86255