NLP之LLMs：大型语言模型领域LLMs排位赛—最新各个模型的实时排名、在线测试网站集合之详细攻略(持续更新)_大语言模型竞技场(lmsys chatbot arena) hugging face

时间

参数量

机构

简介

GPT-4

2023年3月15日

未知

据说100万亿

GPT-4是OpenAI在扩展深度学习方面的最新里程碑。GPT-4是一个大型多模态模型(接受图像和文本输入，发出文本输出)，虽然在许多现实场景中不如人类，但在各种专业和学术基准上表现出人类水平的表现。

ChatGPT

2022年11月30日

OpenAI

ChatGPT训练用了10000个A100，训练了一个月。训练一次ChatGPT需要花费450万美元。

Claude-v1

2023年3月14日

Anthropic

Anthropic推出了新的AI助手系统Claude,它基于Anthropic开发的有助益、诚实和无害的AI训练系统。Claude支持聊天界面和API接口，能够处理广泛的对话和文本处理任务。

Vicuna

vicuna-13b

2023年3月30日

130亿参数

LMSYS

中文名“小羊驼”，基于ShareGPT生成的数据+LMSYS在LLaMA上细化调整

一个由LMSYS在用户共享对话上基于LLaMA(大羊驼)进行微调而来的聊天助手。一个令GPT-4印象深刻的开源聊天机器人，具有90%的ChatGPT质量。

vicuna-13b，由LMSYS在用户共享对话上对LLaMA进行微调的聊天助手

(1)、8张A100 GPU，训练时间是一天，不到2000RMB。在LLaMA-7B上，140美元(training)，而在LLaMA-13B上，300美元(training)，不到2000RMB；

(2)、基于LLaMA13B(媲美GPT-3)，网上网友选用的4090显卡，训练了10轮需要2天；

ChatGLM

chatglm-6b

2023年3月14日

60亿参数

Tsinghua

由清华大学开发的开放双语对话语言模型

chatglm-6b 由清华大学开发的开放双语对话语言模型

Alpaca

Alpaca-13b

2023年3月14日

130亿参数

Stanford

中文名“羊驼”，基于ChatGPT生成的数据+斯坦福大学在LLaMA-7B上细化调整。

 Alpaca=LLaMA 7B + GPT-3.5(text-davinci-003)；

(1)、alpaca-13b，由斯坦福大学在LLaMA上进行细化调整的模型，用于遵循指令；

(2)、性能比肩GPT-3.5；仅用52k数据，在8张A100-80GB上训练了3个小时；

(3)、关键是训练成本奇低，在LLaMA-7B上不到600美元=500美元(data)+100美元(training)。基于云计算供应商，训练花费大约100美元+使用OpenAI的API生成数据大约500美元；

LLaMA

LLaMA-13b

2023年2月25日

130亿参数

Meta

中文名”大羊驼”，由Meta开发的开放高效基础语言模型

LLaMA-13b，由Meta开发的开放高效基础语言模型