ollama 运行第三方模型_ollama添加huggingface

ollama 运行第三方模型

Ollama 默认直接支持很多模型，只需要简单的使用 ollama run命令，示例如下：

ollama run gemma:2b
1

就可安装、启动、使用对应模型，这个命令在模型不存在的时候会自动查找并且下载模型，然后运行模型，官方支持的模型我们可以通过https://ollama.com/library 找到。

但是在https://huggingface.co/models上有数万的模型，Ollama 默认支持的不可能全部覆盖，那如何支持其它模型呢，其实很多模型ollama都是没有支持的，尤其垂直行业的模型。所以我们今天要介绍的就是如何让ollama 运行第三方的模型

通过代码运行huggingface 上的模型

其实对在huggingface 上的模型我们是可以直接通过python 代码运行的，当然这个过程肯定是需要把模型下载到本地的，只不过这个过程是自动的而已

import torch
from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor, pipeline
from datasets import load_dataset


device = "cuda:0" if torch.cuda.is_available() else "cpu"
torch_dtype = torch.float16 if torch.cuda.is_available() else torch.float32

model_id = "openai/whisper-large-v3"
1
2
3
4
5
6
7
8