Mistral 7B 大型语言模型 — 小而强大（比 LLAMA2 13B 更好！） 探索 Mistral 7B LLM 独特的架构以及 GGLU(CPU) 和 GPU 版本无与伦比的性能_mistral大模型

介绍

时间大语言模型 (LLM) 领域最近取得了巨大进展，GPT-3、PaLM、Anthropic 的 Claude 和 Meta LLaMA 等模型突破了人工智能的界限。现在，Mistral AI 团队开源了一个名为 Mistral 7B 的新法学硕士，与之前的同行相比，它展示了模型效率和性能方面的重大进步。

Mistral 7B 拥有 73 亿个参数，在许多 NLP 基准测试中，尤其是在数学推理、编码和常识任务等领域，优于类似大小和高达 13B 参数的 LLaMA 模型。同时，它的参数效率更高——在某些基准测试中，其性能相当于 LLAMAS 大小的 3 倍。
本文将深入探讨 Mistral 7B 的特殊之处、其独特的功能、其幕后工作原理，以及为何其开放可用性标志着 AI 社区的一个重要里程碑。

关键词： Mistral 7B、大型语言模型、人工智能效率、分组查询注意力、滑动窗口注意力、人类克劳德、开源人工智能模型、人工智能安全研究、人工智能编程、人工智能数学推理、米斯特拉尔人工智能

Mistral 7B 令人印象深刻的性能

Mistral 7B 在许多 NLP 任务中取得了最先进的结果，优于参数数量相似的 LLama 2 模型。具体来说：

在 Mistral AI 团队评估的所有常识推理、阅读理解、数学和编码基准上，它都超过了 LLaMA 2-13B 。
它在某些英语语言任务上的性能接近于更大的 LLaMA 1-34B 模型。
对于数学推理 (MMLU)、常识 QA 和阅读理解等基准测试，Mistral 7B 的性能与假设的 LLaMA 2 模型相当，该模型的大小是其大小的 3 倍。这表明效率显着提高。