开源大模型调研_开源大模型比较

模型开源不止开源代码，主要是指开源参数

chatgpt参数信息

• GPT: 117M
• GPT-2: 1.5B
• GPT-3: 175B

以下模型信息来源于大模型刮起开源风！九款GPT4平替已开源！-51CTO.COM

LLaMA（Meta）

MetaAI推出了大语言模型LLaMA，其不同版本包括70亿、130亿、330亿和650亿的参数，虽然比GPT3还小，但LLaMA在许多任务上的性能都能够追平甚至超越GPT3。

更值得注意的是，作为体量更小的模型，LLaMA不需要太多资源就能流畅运行，且LLaMA的训练成本及训练速度都要优于GPT3.5。

项目地址：github.com/facebookresearch/llama

Alpaca（斯坦福大学）

通过Meta的LLaMA 70亿微调而成的全新模型，仅使用了52k数据，但其性能却基本达到了GPT3.5的水平。而Alpaca的关键优势则在于低到出奇的训练成本——仅需不到600美元。

斯坦福大学的研究人员表示，Alpaca表现出了许多类似于OpenAI的GPT3模型的行为，但相比于GPT3，Alpaca的体积更小且各项能力更易于重现。

开源了微调用到的数据集和代码，数据集包含了5.2万个由OpenAI API生成并人工筛选过后的问题-答案对

项目地址：https://githu