一、Ollama部署安装（.Net8+SemanticKernel+Ollama）本地运行自己的大模型_ollama安装

公司业务需求，项目环境均为内容，并且想使用AI大模型满足某些业务需求。查找大部分资料后决定采用Ollama大模型框架进行私有化部署，后端使用.Net8做对接实现需求。本文记录了如何安装Ollama和Open WebUI，以及如何添加语言模型。

github：https://github.com/ollama/ollama
官网：https://ollama.com/

一、Ollama简介

Ollama是一个功能强大的开源框架，旨在简化在Docker容器中部署和管理大型语言模型(LLM)的过程。它是一个开源的大型语言模型服务工具，帮助用户快速在本地运行大模型。通过简单的安装指令，用户可以执行一条命令就在本地运行开源大型语言模型，如Llama 2。Ollama极大地简化了在Docker容器内部署和管理LLM的过程，使得用户能够快速地在本地运行大型语言模型。

Ollama的主要优势在于其易用性，用户仅需通过简易命令行界面即可轻松运行模型，让操作更加流畅高效。它还支持将模型权重、配置和数据捆绑到一个包中，定义成Modelfile，优化了设置和配置细节，包括GPU使用情况。Ollama支持的平台包括Mac和Linux，并提供了docker镜像。安装过程极大简化，提供了多种选择，使得用户能够方便地使用Ollama。

此外，Ollama还具备灵活的扩展性，支持和很多工具集成，除了命令行的使用方式，还可以通过配合UI界面，简单快速的打造一个类ChatGPT应用。这使得Ollama成为一个强大的工具，不仅适用于专业开发者，也适合希望快速尝试大型语言模型的普通用户。

二、安装Ollama

系统采用Centos

curl -fsSL https://ollama.com/install.sh | sh
1

安装成功后，可以通过以下命令查询版本号

[root@node ~]# ollama --version
ollama version is 0.1.38
1
2

三、下载并启动大模型

执行以下命令

ollama run llama3
1

等待安装完成

查看是否运行命令，默认端口为：11434

[root@node ~]# curl http://127.0.0.1:11434
Ollama is running
1
2

至此本机已经可以访问Ollama了。

ollama官方提供了很多大模型，都可以通过run命令下载并运行。官方没有提供给的可以从huggingface（国内镜像地址：https://hf-mirror.com/）寻找需要的大模型，通过.Modelfile文件方式导入。
如：

三、局域网访问Ollama

Ollama启动后，默认是不支持局域网访问，需要调整一些配置支持局域网访问。

1、关闭防火墙或者防火墙开发11434端口。

systemctl stop firewalld
1

2、修改Ollama配置文件

修改ollama.service文件：
命令：

vim /etc/systemd/system/ollama.service
1

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
#Environment="PATH=/sbin:/bin:/usr/sbin:/usr/bin"
Environment="OLLAMA_HOST=0.0.0.0:11434" 
[Install]
WantedBy=default.target
1
2
3
4
5
6
7
8
9
10
11
12
13
14

加入一行内容：

Environment=”OLLAMA_HOST=0.0.0.0:11434″
1

然后重启ollama

systemctl daemon-reload
systemctl restart ollama
1
2

重启后，访问http://ip:11434，如果出现以下界面，则配置生效了。

四、ollama常用命令

查看Ollama的运行日志，可以使用以下命令：

journalctl -u ollama
1

其他常用命令：

Available Commands:
  serve       Start ollama  #启动Ollama服务。
  create      Create a model from a Modelfile  #从模型文件创建模型
  show        Show information for a model  #显示模型信息。
  run         Run a model  #运行模型。
  pull        Pull a model from a registry  #从注册表中拉取模型。
  push        Push a model to a registry #将模型推送到注册表。
  list        List models #列出模型。
  ps          List running models #查看正在运行的模型
  cp          Copy a model #复制模型。
  rm          Remove a model #删除模型。
  help        Help about any command
1
2
3
4
5
6
7
8
9
10
11
12