最好的7B模型易主，笔记本轻松跑，免费开源可商用，来自“欧洲的OpenAI”

梦晨 发自 凹非寺
量子位 | 公众号 QbitAI

一个神秘磁力链接，成了开源大模型社区的新宠。

里面是来自法国的开源大模型Mistral-7B，大家试用下来，觉得Llama 2都不香了。

有开发者建议，代码之外的数据微调，34B以下规模先试试它就对了。

也有公司开始把它用在简历自动解析和评估业务上。

想基于Mistral创业的更是大有人在。

发布不到2周，配套生态也迅速发展起来，如何在单卡上微调的教程有了。

各种基础设施和工具链也添加了对Mistral-7B的支持。

专用于代码补全的微调版本也有人搞出来了。

甚至有人基于它微调了一个神秘学玄学大模型，也很受欢迎。

与Meta刚刚发布Llama的时候，迅速出现各种其他驼和神兽，发展成大模型动物园的场景太像了。

Mistral这个单词在法语里代表冬季的一种强风。

羊驼们，准备好过冬了吗？

Mistral为什么火了？

先上总结，综合官方公告和社区反馈，主要有5个方面：

性能更强，硬件需求更少，有2023年的知识，安全对齐没那么离谱，开源协议更宽松，

目前最好的7B模型

根据官方发布公告，Mistral 7B在所有尝试过的评测基准中超过Llama 2 13B。

并在代码、数学和推理评测中超过Llama 1 34B。

另外代码任务上的表现接近专门的CodeLlama 7B，同时保留了自然语言能力。

上下文窗口也达到了8k。

更详细的测评数据如下。

笔记本轻松跑

以小胜大，意味着取得相似的效果硬件需求更少。

官方也特别说明用了各种优化手段，FlashAttention，Grouped-Query Attention，Sliding Window Attention一起上。

现在已经看到很多开发者晒自己在苹果笔记本跑起来的经验。

量化后只需要6G显存。

训练数据更新

官方没有具体说明训练数据截止日期。

但经网友测试，2023年3月OpenAI发布GPT-4的事它也知道。

相比之下Llama 2的预训练数据截止到2022年9月，只有部分微调数据最多到2023年6月。

实用性更强

Llama 2的安全对齐措施非常充分严格，甚至损失了一部分实用性。

比如拒绝回答如何“杀死”一个Linux线程，只能说过于礼貌也是一种不礼貌了。

还有创业者根据自己经历总结了3点是Mistral-7B能做但Llama 2做不好的。

他做的是检索复杂SQL语句，对比测试发现Llama 2 13B有几个缺点：

• 即使提供少样本示例，也会在结构化输出中插入评论

• 会在时间字段上出错

• 在数据结构定义DDL中如果有多个表，总是漏掉至少一个表

而Mistral-7B具体效果还在测试中，至少这些问题都不存在。

另外Mistral-7B还非常适合用来微调，官方也出了经过指令微调的聊天版本作为补充。

开源协议更宽松

Mistral基于非常宽松的Apache2.0协议开源，免费，允许商业使用、修改和分发。

相比之下Meta为Llama 2准备的协议，甚至被开源界批评为严格来讲不算真正的开源。

比如有附加商业条款，月活超过7亿的产品或服务需要单独申请许可，这条主要针对大公司。

针对个人和小公司的也有不能使用Llama生成的结果来改进其他模型等。

欧洲的OpenAI

Mistral AI成立于今年5月，总部法国巴黎，3位创始人是DeepMind和Meta前员工，

外界将这家公司看成是欧洲的OpenAI。

当初刚成立4周还没有产品时，就靠6个员工7页PPT拿到超过1亿美元融资，当时还引起一番争议，被当成是AI泡沫的代表。

Mistral AI最初计划在2024年发布首个大模型，没想到刚到9月底就已拿出成果，团队也扩大了不少。

三位联合创始人中，CEO Arthur Mensch此前在DeepMind巴黎工作。

CTO Timothée Lacroix和首席科学家Guillaume Lample则在Meta共同参与过Llama系列的研发，Lample是通讯作者之一。

事实上Llama初始团队中已有过半离职，其中Marie-Anne Lachaux后来也加入了Mistral AI。

有点子当年OpenAI部分员工出走成立Anthropic的意思了，历史总是惊人的相似。

Mistral AI接下来也会继续推出规模更大的模型，增强推理能力以及多语言能力。

如果你对Mistral-7B感兴趣，可以在Perplexity或HuggingChat试玩。‍‍‍‍‍‍‍‍‍‍

labs.perplexity.ai

https://huggingface.co/chat

还有一个与Llama 2同台竞技的小游戏可玩。

https://llmboxing.com

下载模型也可以去Hugging Face。

https://huggingface.co/mistralai

参考链接：
[1]https://mistral.ai/news/announcing-mistral-7b
[2]https://predibase.com/blog/fine-tuning-mistral-7b-on-a-single-gpu-with-ludwig
[3]https://x.com/hrishioa/status/1710702855491879027
[4]https://twitter.com/Teknium1/status/1710505270043189523

— 完 —

「量子位2023人工智能年度评选」开始啦！

今年，量子位2023人工智能年度评选从企业、人物、产品/解决方案三大维度设立了5类奖项！欢迎扫码报名 

MEET 2024大会已启动！点此了解详情。

点这里