赞
踩
Ollama是一个能在本机运行大语言模型的软件,它提供命令行和API的交互方式,对于需要考虑数据隐私的情景,可以方便的使用Ollama部署大语言模型,并在此基础上开发RAG等应用,而无需调用OpenAI等开放API。Ollama基本上已经建立了比较完善的生态,除了在系统中使用命令行、API等方式交互,Langchain、Dify等开发框架也都支持Ollama,另外,也有非常多GUI客户端可以使用,像在iPhone、iPad等移动端设备上,也可以通过仅仅修改一个地址就能拥有属于自己的“ChatGPT”。
从官方网站https://ollama.com/直接下载安装即可
模型下载目录
macOS下指定此目录,此目录中会下载文件,但在~/.ollama/models
下也会下载文件
Ollama监听网络地址,默认监听回环地址
export OLLAMA\_HOST\=0.0.0.0
\# or指定监听端口
export OLLAMA\_HOST\=0.0.0.0:8080
从官方网站可以查找支持的模型https://ollama.com/library
ollama run roger/minicpm
可以设置环境变量OLLAMA_MODELS
来指定模型下载位置,此步非必须,因为大语言模型一般都比较大,如果需要指定下载路径,可以设置环境变量
注意修改下方的地址为自己电脑中的地址
export OLLAMA\_MODELS\=/Volumes/SHAERGE/Appdata/Ollama
下载模型
ollama pull gemma:2b
查看模型信息
ollama show --modelfile gemma:2b
\# Modelfile generated by "ollama show"
\# To build a new Modelfile based on this one, replace the FROM line with:
\# FROM gemma:2b
FROM /Users/luogang/.ollama/models/blobs/sha256-c1864a5eb19305c40519da12cc543519e48a0697ecd30e15d5ac228644957d12
TEMPLATE """<start\_of\_turn>user
{{ if .System }} <end\_of\_turn>
<start\_of\_turn>model
<end\_of\_turn>
"""
PARAMETER repeat\_penalty 1
PARAMETER stop "<start\_of\_turn>"
PARAMETER stop "<end\_of\_turn>"
记住上面的模型路径,拷贝到一个新的文件,模型格式为gguf,例如:
注意修改下方的地址为自己电脑中的地址
cp /Users/luogang/.ollama/models/blobs/sha256-c1864a5eb19305c40519da12cc543519e48a0697ecd30e15d5ac228644957d12 /Users/luogang/Downloads/gemma/gemma\_2b.gguf
创建一个Modelfile文件,最简形式如下:
From /Users/luogang/Downloads/gemma/gemma\_2b.gguf
完整形式如下:
FROM /Users/luogang/Downloads/gemma/gemma\_2b.gguf
TEMPLATE """{{ if .System }}<|im\_start|>system
<|im\_end|><|im\_start|>user
<|im\_end|>
<|im\_start|>assistant
"""
PARAMETER stop "<|im\_start|>"
PARAMETER stop "\\"<|im\_end|>\\""
使用如下命令创建Ollama模型
可以设置环境变量OLLAMA_MODELS
来指定模型下载位置
注意修改上面的地址为自己电脑中的地址
ollama create mygemma:2b -f Modelfile
然后使用
ollama run mygemma:2b
可以正常使用
如果指定的模型没有下载,运行时会先下载
ollama run qwen:1.8b
使用效果如下,实际生成token的速度非常快
ollama list
在macOS上,点击Ollama图标运行程序后,就已经启动服务了,默认监听在11434端口
不过要注意,从点击Ollama图标的方式运行的方式,没有办法设置环境变量,虽然在https://github.com/ollama/ollama/issues/703此处有人给出了解决方案 launchctl setenv OLLAMA_HOST 0.0.0.0:8080,但经过尝试并不生效
ollama serve
在Linux下安装成功后,会默认安装为一个服务,系统启动后相当于自动执行了ollama serve
,此时可以修改systemd启动单元/etc/systemd/system/ollama.service
注意将下方Environment中的相关路径,替换为自己的路径
\[Unit\] Description\=Ollama Service After\=network-online.target \[Service\] ExecStart\=/usr/local/bin/ollama serve User\=ollama Group\=ollama Restart\=always RestartSec\=3 Environment\="PATH=/home/luogang/.autojump/bin:/opt/anaconda3/bin:/opt/anaconda3/condabin:/home/luogang/.autojump/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin:/usr/local/cuda-11.8/bin:/usr/local/cuda-11.8/bin" Environment\="OLLAMA\_HOST=0.0.0.0" \[Install\] WantedBy\=default.target
Environment="OLLAMA_HOST=0.0.0.0"
这一行是新增的,编辑完成保存后,执行如下命令
sudo systemctl stop ollama
sudo systemctl daemon-reload
sudo systemctl start ollama
sudo systemctl status ollama
如果启动状态检查没有报错,说明启动成功,再次使用如下命令检查环境变量是否生效
netstat -an | grep 11434
更多API可以参考此处:https://www.postman.com/postman-student-programs/workspace/ollama-api/collection/21521806-f48dc31a-a9f1-4dad-9082-fd07f5cd2fda
curl http://localhost:11434/api/tags
curl http://localhost:11434/api/show -d '{
"name": "nomic-embed-text"
}'
stream
参数非必填,默认为true
,下同
curl http://localhost:11434/api/generate -d '{
"model": "qwen:7b",
"prompt":"Why is the sky blue?",
"stream": false
}'
curl http://localhost:11434/api/chat -d '{
"model": "qwen:7b",
"messages": \[
{ "role": "user", "content": "why is the sky blue?" }
\],
"stream": false
}'
curl http://localhost:11434/api/embeddings -d '{
"model": "nomic-embed-text",
"prompt": "why is the sky blue?"
}'
在Ollama启动后(双击运行或者ollama serve
方式),启动Echanted不需要做任何修改,直接可以运行
3.1.2 iPadOS
iPadOS下支持Ollama的软件比较多,比如Enchanted、OpenCat等,Enchanted完全免费,下面以此为例。
点击左上角的按钮展开侧边栏,然后在最底下的Settings,需要在设置中的OLLAMA下输入Ollama服务地址,比如http://192.168.31.26:11434
要注意,这个地址需要iPad能够访问到,也就意味着Ollama服务启动时需要监听0.0.0.0
直接使用Docker启动
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
登录后,需要注册,填写个人信息进行注册即可
进入界面后,在界面顶端可以直接选择已经下载的模型
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。
保证100%免费
】Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。