赞
踩
墙裂推荐:https://yv2c3kamh3y.feishu.cn/docx/V848dcneLoSk5ixQwfsc0Fe9n8b
很多人想在本地电脑上搭建一个大模型聊天机器人。总是觉得离自己有点远,尤其是对ai没有了解的童鞋。那么今天我要和你推荐ollama,无论你是否懂开发,哪怕是零基础,只需十分钟,Ollama工具就可以帮助我们在本地电脑上搭建一个大模型聊天机器人。下面,我会逐步介绍来确保大家顺利完成安装并启动使用。
后续会出专题期详细介绍Ollama的用法。今天主要介绍三点:
Ollama简介
Ollama环境配置要求
Ollama下载安装
Ollama本地运行大模型
在跑本地大模型的同时,使用像ChatGPT那样的Web UI。
1.Ollama简介:
开源免费:Ollama是一个不收费的开源工具。
即插即用:它提供了预装好的大模型,免除了复杂的安装和下载流程。
用户友好:即便没有任何技术背景,Ollama也易于上手和使用。
跨平台兼容性:
Ollama支持各种设备,包括PC、Mac甚至是树莓派。
运行各种规模的模型,保证了出色的扩展性。
2.Ollama环境配置要求
以下7B、13B、14B等等都是指模型的参数量,1b= 1billion = 10亿,7B = 70亿表示参数量有70亿。参数量越多,对电脑环境要求越高。
环境要求举例:
7B :至少8GB内存能流畅运行
14B :至少16GB内存能流畅运行
72B :至少64GB内存能流畅运行
我测试电脑16GB,最多只能选择16GB内存的14B的模型,这里演示用7B模型。
3.Ollama下载安装
ollama极大的简化了安装的过程,并提供了多种选择。
支持的平台包括:Windowa、Mac和Linux,并提供了docker 镜像。
下载地址:https://ollama.com/download/
①下载 按照自己电脑系统,进行选择下载即可(本文以windows为例)
②安装 双击下载好的安装包即可(mac同理,linux直接用命令,访问上方网址即可)
③启动窗口 安装之后会有窗口提示你ollama已经安装完成,可以点击即可打开窗口。
④一行命令即可启动
命令:ollama run qwen:7b
这行命令是指启动qwen模型,7b参数的这个。首次启动会自动下载,下载完成之后即可对话使用了!!!
下载成功
测试一下(大家可以直接在cmd窗口执行):
prompt:一行命令搭建了一个大模型,有点开心,给我讲个故事吧
如果大家还想了解其他可用的模型,直接访问:https://ollama.com/library,搜索你要使用的模型,主流的模型,比如 qwen1.5、llama2、mixtral 等,Ollama都是支持。
⑤在跑本地大模型的同时,使用像ChatGPT那样的Web UI。
界面话,非必要的。只是为了方便使用,界面好看而已。如何将这个大模型接入一个网页呢?这里可以直接采用另一个开源项目chatbot-ollama:
chatbot-ollama: https://github.com/ivanfioravanti/chatbot-ollama
目前,像这种实现有很多,原理和结果都相似,其中选择一个来用即可。这部分本次不着重介绍,后续会有专题,有需要的童鞋可以持续关注。
最后:
有了Ollama,可以满足大家对大型语言模型的好奇心,将先进的技术应用到日常项目中,无论技术水平如何。大家可以自己玩起来吧!如果对ollama感兴趣的话,欢迎持续关注!
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。