当前位置:   article > 正文

手撸私有AI大模型——ollama本地部署私有大模型_ollamasetup.exe

ollamasetup.exe

作者:vscene        时间:2024年5月17日        版权声明:如需转载请注明出处

目录

1.下载ollama

2. 安装OllamaSetup.exe

3. 下载大模型

4. 运行大模型

5. 重启并更新 ollama

6. ollama  常用命令


1.下载ollama

访问ollama的官网https://ollama.com/,点击【Download】

http://ollama.com/

选择操作系统类别,这里我选择的是Windows,OllamaSetup.exe (198MB)

2. 安装OllamaSetup.exe

双击运行OllamaSetup.exe

默认安装路径为:

C:\Users\Administrator\AppData\Local\Programs\Ollama

Administrator 为当前windows 登录用户名

3. 下载大模型

复制模型名称,通过命令行下载,命令为ollama run [模型名称]

配置模型下载到本机的路径。如果c盘空间不足(模型至少占用4GB),可以下载到其他盘上,这里设置为下载到D盘。

默认下载路径:C:\Users\Administrator\.ollama\models,通过配置环境变量 OLLAMA_MODELS修改下载路径

注意:配置模型安装位置配置,可以在运行这个命令前在系统环境变量中配置【在运行中输入“sysdm.cpl”命令】,然后配置

首先,查询到想要现在的模型名称及连接地址

以下载 qwen1.8b为例

复制下载的连接地址:ollama run qwen:1.8b

在命令行cmd 中,运行 ollama run qwen:1.8b,回车

ollama run qwen:1.8b

开始下载 qwen1.8b模型

下载成功后就可以看到 success 提示。在>>>后面输入想要问的问题就可以和大模型对话了。

输入 你是谁,大模型就会给出回答。回答的相应速度和本机的硬件CPU和GPU有关,我这里只有CPU所以会慢点,不过可以在本地运行大模型还是很让人惊喜的。

4. 运行大模型

在命令行中再次运行ollama run qwen:1.8b(其实下载模型和运行模型都是同一个命令,本地没有这个模型就先下载,如果有这个模型就运行)

ollama run qwen:1.8b

通过英文问看看回答如何

5. 重启并更新 ollama

在任务栏有 ollama 的图标,点击可以看到菜单

重启 restart to update 

6. ollama  常用命令

ollama -v:显示版本
ollama list:显示模型列表
ollama show:显示模型的信息
ollama pull:拉取模型
ollama push:推送模型
ollama cp:拷贝一个模型
ollama rm:删除一个模型
ollama run:运行一个模型
ollama serve:启动ollama 服务,端口号11434
ollama create:从模型文件创建模型
ollama help:获取有关任何命令的帮助信息

显示本地有那些模型 ollama list

ollama list

如果想要有一个webui交互界面,我们可以通过编程的方式来实现,或者下载一个开源的webui

后续的分享会通过代码的方式搭建一个webui

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/732295
推荐阅读
相关标签
  

闽ICP备14008679号