MacOS使用ollama部署codellama+openui以及llama.cpp部署_macos ollama

先来强调下对于硬件的要求：基本的配置只需是Intel i5处理器 + 16G内存（内存8G也ok，但是能慢一些，但你CPU起码de得是i5的，相信这个配置对于大多数人来说还是可以满足的），你就能够顺利运行多种开源的大模型，例如33亿参数、7亿参数的模型，但是70b那种跑不起来。需要注意的是，这里讨论的是利用大型模型进行推理，而非训练或微调模型。如果你的显卡性能更强，那么在大模型训练和微调方面的能力也会对应增强。不过，今天我们主要关注如何在现有硬件条件下运行大模型，所以重点不在此，就不详细介绍显卡相关部分了。

重点来了，这里介绍两个可以运行在本地的大模型工具：ollama和llama.cpp，尤其是ollama，本地跑一个大模型特别简单，后面将会重点介绍。这里还有一个小知识补充一下，无论是Ollama还是llama.cpp都是运行的量化后的模型（GGUF格式的），所以对电脑配置的要求大幅降低。

Ollama运行开源LLM

Ollama是一个轻量级且可扩展的框架，通过提供命令行界面，可以帮助用户在本地电脑上运行、创建和管理大语言模型（LLMs），整体感觉和Docker很像。

官网：https://ollama.com/

如何使用呢？很简单，下载安装后，只需在CMD命令行窗口，执行下面的命令（比如我这里启动Google刚开源的codegemma模型），就可以启动快速下载和直接运行一个大模型。

ollama run codegemma

运行后，就可以在命令行窗口进行交互了，但是整体还是不太方便，我们期待的是有个web页面可以进行交互，方便使用。

到了这里，配套的再推荐另一个开源项目：Open-webui。它可以快速基于Ollama构筑本地UI。具体使用方法可以参照官网：https://github.com/open-webui/open-webui

我们用docker命令（docker的安装和基本使用这里就不详细说明了），快速启动Open-webui，自动关联本地的ollama。

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

启动成功之后，访问：http://localhost:3000  我们就可以使用了。

上面简单给大家演示了，如何只用两行命令（一行是用ollama去运行一个大模型，一行是用docker启动web页面，自动关联本地ollama），基于Ollama + Open-webui去构筑本地大模型，并且可以通过web操作页面进行访问，是不是特别方便和简单。到这里，大家可能还会有下面的疑问：

问题1、ollama可以下载和运行哪些开源大模型？

可以参照网站：https://ollama.com/library  这里列出了ollama支持的开源大模型。

模型更新得很快，比如刚开源的llama3立刻就支持。并且Ollama它还允许用户通过编写Modelfile来导入更多的自定义模型，具有灵活的扩展性，并能与许多工具集成。它还支持GPU/CPU混合模式，可以根据用户的硬件配置进行优化。

问题2、ollama还有哪些常用的命令？

可以执行 ollama -h 去获取ollama支持的命令，真的很少，很简单。

问题3、ollama可以支持本地跑多个大模型吗？

必须可以，只要你电脑配置足够，同样的方法，使用ollama run 去运行你想运行的大模型。具体使用的时候，可以在open-webui提供的页面进行切换大模型即可：

问题4、为什么下载的模型要比原始模型小？

之前上面也提过，Ollma运行的是量化后的模型，将权重参数的精度压缩为4位整数精度，大幅减小了显存需求。此外，Ollama提供了对模型的量化和推理优化能力，这使得模型能够在有限计算资源下进行高效推理。

相信介绍到这里，大家都清楚了如何用ollama本地电脑玩转大模型，是不是看起来很简单，很酷。。。赶紧回去试一试吧。

-----------------

llama.cpp运行开源LLM

这个就比ollama复杂一些了，下面也简单介绍下，具体详细使用可以参照我的知识星球，里面写得很详细。

llama.cpp 是一个C++库，用于简化LLM推理的设置，它使得在本地机器上运行大模型（GGUF格式）成为可能。

官网：https://github.com/ggerganov/llama.cpp

具体如何使用呢？主要分下面这三步：

1、将项目clone到本地，然后使用make命令进行安装。

2、自行去huggingface上去找gguf格式的大模型（注意，一定是gguf格式，否则跑不起来），然后将大模型下载到本地。这里下载的过程，我推荐使用从hf-mirror镜像站中下载，速度会提升很多。大家可以参照网站：https://hf-mirror.com/

3、使用llama.cpp去运行大模型，常用的命令有./main、./server等。比如下面我用server指令去运行刚出的llama3大模型，并在web页面上进行操作。

./server -m /Users/chiliangxu/Documents/03_src/clx/ai/models/Llama-3-8B/Meta-Llama-3-8B-Instruct.Q2_K.gguf -c 2048

llama.cpp的使用比ollama复杂一些，技术门槛稍微高一些，所以对于初学者的话，我还是推荐使用ollama。但是llama.cpp方式要比ollama+open-webui方式要占用硬件资源小，自带图形页面。两者各种利弊，大家选择最合适的就好。

----------------

具体使用的过程中，如果有不明白的地方，可以参照星球或留言，也可以私信我，看到我都会第一时间答复。

相信通过上面介绍的内容，为广大开发者和研究者在硬件资源有限的情况下，降低了AI使用的门槛，可以使更多人接触到大模型，而不只是单纯使用一些别人的AI产品。如果你感兴趣，那现在是时候行动起来了。