AI菜鸟向前飞 — 本地部署大语言模型之Ollama（保姆级指北）_ollama 本地部署

开场白

    我用得很节省。。。不过我的OpenAI Key马上过期了 ：(

动手本地部署Ollama

    这里教大家如何在本地部署Ollama大语言模型，强烈建议大家使用Docker方式启动，这样你随时可，因为我听说Ollama的守护进程会一直占用你的机器资源

    闲言少叙，Docker运行环境所用的工具，强烈安利OrbStack...

    因为...OrbStack更快、更好

Ollama（Docker Hub）

https://hub.docker.com/r/ollama/ollama

在命令行窗口执行命令

docker pull ollama/ollama

效果如下：

回到我们的OrbStack应用里就会存在一个镜像，就是它了（Unused） !

接下来在命令行窗口 继续执行如下命令

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

效果如下：

回到我们的OrbStack，看ollama已经成功启动

下载Llama3（目前最新的大语言模型） 顺便介绍下Llama3的性能情况

言归正传，安装Llama3 Model的命令如下：

• 1

docker exec -it ollama ollama run llama3

效果如下：

用命令行小试模型

这样Llama 3 本地大语言模型就安装好了：）

使用LangChain调用Ollama

我们用LangChain调用它测试一下～

Ollama方式

程序

from langchain_community.llms.ollama import Ollama llm = Ollama(model="llama3",temperature=0) res = llm.invoke("你是一名软件工程专家，请您回答一下什么是软件测试？请用中文回答。") print(res)

输出结果