【AI实践】Ollama本地安装大模型服务_ollama下模型

作者：你好赵伟 | 2024-07-30 13:36:38

踩

ollama下模型

Ollama安装运行

安装默认在C盘，成功后，window任务栏图标会有Ollama Logo

为了不占用C盘更大的空间，修改模型下载路径，修改环境变量

由于我电脑是第六代Intel，集显，没有独立显卡；这里选择3B比较小的模型，防止模型太大响应太慢；

在Window系统的PowerShell软件，或者Windows Terminal中输入命令

ollama run phi3

此处使用微软的phi3模型，3B的版本，2.4GB大小；

下载完成

首次安装完成，就进入了，运行模型的窗口

后续运行模型


PS C:\Users\iamlv> ollama run phi3
>>>

回复速度如下图

另外安装运行模型llama3, 7B版本


PS C:\Users\iamlv> ollama run llama3
>>>

open WebUI提供web网页

open WebUI的安装有很多方法，如下文，推荐docker容器安装，