开箱即用：如何在本地轻松部署大模型（附详细API指南）_如何调用本地大模型api

想象一下，只需一条简单的命令，你就能在本地运行最前沿的开源大型语言模型，像Llama 2这样的模型再也不需要复杂的配置和部署。这一切，Ollama帮你搞定

一.功能介绍

Ollama是一款开源的大型语言模型服务工具，专为简化和优化在本地运行大型语言模型而设计。它将模型权重、配置和数据捆绑到一个包中，称之为Modelfile。这样，用户无需手动设置和调整模型的细节，只需简单配置即可高效运行。Ollama还针对GPU的使用进行了优化，确保模型运行时的性能最大化。

轻量级

Ollama的代码设计简洁明了，运行时占用的资源非常少。这意味着你不需要昂贵的硬件设备或大量的计算资源，就能在本地高效地运行大型语言模型。更值得一提的是，Ollama支持热加载模型文件，这意味着你可以在不中断当前运行的情况下，随时切换不同的模型，这为实验和开发带来了极大的便利。

易用性

Ollama的安装过程非常简单，提供了多种安装方式，支持Mac和Linux平台，并且还提供了Docker镜像。即使你没有深厚的技术背景，只需按照安装指南操作，就能轻松完成安装和配置。Ollama将复杂的技术简化为易于操作的步骤，让每个人都能快速上手，体验在本地运行大型语言模型的强大功能。通过Ollama，你不仅能节省时间和精力，还能充分利用本地资源，探索大型语言模型的无限可能。无论是研究、开发还是实际应用，Ollama都能为你提供强有力的支持。

二.安装教程

下载地址

链接：https://pan.baidu.com/s/1bvVblTGUmIgg9BtHBMcsqA

提取码：fwln

1.window安装

解压打开安装包，如下图

点击install即可安装成功

2.linux安装

在线安装

sh install.sh 
1

离线安装

下载ollama二进制文件

Ollama 以独立二进制文件的形式分发。将其下载到 PATH 中的目录中

sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama``#ollama文件已经放在整合包内，直接将ollama文件放入/usr/bin/目录下``sudo chmod +x /usr/bin/ollama
1

添加 Ollama 作为启动服务（推荐）

为 Ollama 创建用户：

sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama
1

在以下位置创建服务文件/etc/systemd/system/ollama.service：

[Unit]``Description=Ollama Service``After=network-online.target``   ``[Service]``ExecStart=/usr/bin/ollama serve``User=ollama``Group=ollama``Restart=always``RestartSec=3``   ``[Install]``WantedBy=default.target
1

然后启动服务：

sudo systemctl daemon-reload``sudo systemctl enable ollama
1

三.使用模型

方式一、下载模型

官网地址：https://ollama.com/，进入官网选择模型

点击喜欢的模型，复制对应命令，例：ollama run llama3

等待下载完毕，输入ollama list查看模型

方式二、导入模型

1.新建文件Modelfile

2.输入内容

FROM （这里填写你的路径）

3.创建模型

ollama create test -f Modelfile

4.查看模型，输入ollama list,，显示了我们刚刚导入的模型

5.运行模型,即可对话

ollama run test

启动模型进行会话

输入ollama list查看模型列表

输入以下命令运行模型

ollama run 模型名称
1

进入会话界面即可开始聊天

按住ctrl+d即可退出模型

四.api调用

1. 启动api服务

ollama serve
1

2.访问接口

默认端口是localhost:11434

通用方式：

curl http://localhost:11434/api/generate -d '{`  `"model": "llama3",`  `"prompt":"Why is the sky blue?"``}'
1

openai调用方式（使用与llama模型）

curl --location 'http://localhost:11434/v1/chat/completions' \``--header 'Content-Type: application/json' \``--data '{`  `"messages": [`    `{`      `"content": "你是誰",`      `"role": "system"`    `},`    `{`      `"content": "请用中文回复我下面的问题",`      `"role": "user"`    `}`  `],`  `"model": "模型名称",#注意这里写你模型的名称`  `"stream": false,#是否开启流式对话`  `"max_tokens": 2048,`  `"stop": [`    `"hello"`  `],`  `"frequency_penalty": 0,`  `"presence_penalty": 0,`  `"temperature": 0.7,`  `"top_p": 0.95``}'
1

那么，如何系统的去学习大模型LLM？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~

篇幅有限，部分资料如下：

声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop】