Ollama部署本地大模型

ollama run gemma:2b "菊花为什么是红色的？" 

如今 LLM 早已不再等同于昂贵的 GPU，而是可以在大部分消费级计算机上运行推理的应用了——俗称本地大模型。

Ollama 安装十分简单，macOS 直接在官网下载安装包打开运行；Window 尚未提供安装包，官方推荐在 WSL 2 中以 Linux 方式用命令安装：

% curl https://ollama.ai/install.sh | sh

当你运行 ollama --version 命令成功查询到版本时，表示 Ollama 的安装已经顺利完成，接下来便可以用 pull 命令从在线模型库下载模型来玩了。

以中文微调过的 Llama2-Chinese 7B 模型为例，下述命令会下载接近 4GB 的 4-bit 量化模型文件，需要至少 8GB 的内存进行推理，推荐配备 16GB 以流畅运行。

% ollama pull llama2-chinese

以自定义系统提示词并修改推理温度参数为例，应构建如下格式的 ModelFile：

FROM llama2-chin