当前位置:   article > 正文

Ollama完成本地模型的运行_ollama 怎么继续下载模型

ollama 怎么继续下载模型

Ollama完成本地模型的运行

llama 3 8b很多pc都可以run起来,可以用这个练练手

简介

Ollama 是一个开源的大型语言模型(LLM)服务工具,它允许用户在本地运行和使用各种大型语言模型。Ollama 提供了一个命令行界面,支持多种流行的模型,如 Llama 3、Qwen 1.5、Mixtral、Gemma 等,并且用户可以根据自己的需求定制和创建模型。Ollama能够实现模型的本地运行,降低了模型开发的复杂度,无聊时AI开发的高手还是新人都可以快速使用Ollama完成模型本地运行。同时可以识别Nvidia、AMD的GPU,AVX、AVX2指令集的CPU。同时Ollama也支持MacOS、Windows,Linux主要的操作系统。

安装

进入Ollama官网,下载对应的Ollama客户端后安装即可。

安装完成后,打开powershell,输入ollama有help的内容输出就是安装成功了。

本地运行模型

这里有一个小技巧:Ollama默认大模型的目录在C盘当前用户目录下.ollama
目录下,非常占地方,所以我们要修改环境变量OLLAMA_MODELS为一个想存大模型的地方。

运行ollama命令完成模型下载和运行

olla
    声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/Li_阴宅/article/detail/854078
    推荐阅读
    相关标签
      

    闽ICP备14008679号