【大模型应用开发-实战】（一）使用Ollama在⾃⼰的电脑上运⾏⼤模型（上）_ollama npu

作者：盐析白兔 | 2024-06-06 06:38:43

踩

ollama npu

一、什么是 Ollama

Ollama 是⼀个开源的⼤型语⾔模型服务⼯具，兼容 Windows、Linux 和 MacOS 操作系统。提供了

类似 OpenAI 的 API 接⼝和聊天界⾯，可以⾮常⽅便地在本地部署各种开源的⼤模型并通过接⼝使⽤。

官⽹： https://ollama.com/

GitHub： https://github.com/ollama/ollama

● 本地部署：Ollama 允许⽤户在⾃⼰的本地环境中部署⼤型语⾔模型

● 易于使⽤：Ollama 提供了类似 OpenAI 的 API 接⼝和聊天界⾯，使得⽤户可以轻松地与模型进⾏交

互

● 降低成本：开发阶段，可以在本地环境中使⽤ Ollama ，减少调⽤⼤模型平台接⼝ token 的消耗

● 热加载模型⽂件：Ollama⽀持热加载模型⽂件，这意味着⽤户可以在不重启服务的情况下更换或更新模型

● 定制化与可扩展性：⽤户可以根据⾃⼰的任务和需求，定制和创建⾃⼰的语⾔模型

● 开源与灵活性：Ollama是⼀个开源项⽬，这意味着⽤户可以⾃由地访问、使⽤和修改其源代码

1. 官⽹下载安装包打开运⾏： https://ollama.com/download

2. docker 安装： https://hub.docker.com/r/ollama/ollama


docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/olla
ma

安装完后，进入docker容器，检查是否安装成功：

ollama --version

Ollama 官⽅⽀持的模型可以在 https://ollama.com/library 上⾯找到

进入qwen列表

qwen

New in Qwen 1.5

The original Qwen model is offered in four different parameter sizes: 1.8B, 7B, 14B, and 72B.

大模型操作命令


拉取模型：
ollama pull qwen:7b
 
删除模型：
ollama rm qwen:7b
 
列出电脑上的模型
ollama list
 
运⾏模型：
ollama run qwen:7b

本文是安装qwen:0.5b作为演示，大小394MB

ollama run qwen:0.5b

本文内容由网友自发贡献，转载请注明出处：https://www.wpsshop.cn/w/盐析白兔/article/detail/679931