【LLM大模型】Llama3.1是AI界的Linux？先部署起来再说！_llama3.1 webui

就在今天，Meta 发布了 Llama 3.1，这次带来的中杯、大杯和超大杯3个版本。

从纸面数据来看，Llama 3.1 超大杯已经能跟 GPT-4 Omni、Claude 3.5 Sonnet 分庭抗礼了。

而中杯和大杯更是将同量级的对手摁在地上摩擦。

要知道，Llama 的对手可是闭源模型啊工友们！

小扎同志说，开源AI会成为行业的标准，就像Linux一样！

不管怎么说，既然你开源了，那我就在本地部署起来吧。

本文使用 Ollama 在本地运行大语言模型，它不止能运行 Llama 3.1 ，还支持阿里的 qwen2 等开源模型。

同时借助 OpenWebUI 的帮助，让你可以在图形化界面里跟 Llama 3.1 聊天互动。

安装 Ollama

Ollama 是一个专门为在本地环境中运行和管理大型语言模型（LLM）而设计的开源工具。

打开 Ollama官网 下载 Ollama。

根据你的系统去下载对应的安装包即可。下载完就运行它，傻瓜式安装，一直点“下一步”就行了。安装完你就能看到一个客户端的图标。

下载并运行 Llama 3.1

回到 Ollama官网，进入 Models 页面，这里会列出很多热门的模型。你也可以在搜索框里搜索自己想要的模型。

这里我们选择 llama3.1 。

蓝框可以选择不同量级的 Llama 3.1 模型，红框是选中的这个模型的下载和运行命令。

405b的模型231个G，我电脑实在玩不起，硬盘的剩余空间都没这么大