当前位置:   article > 正文

创造未来知识管理新篇章:Ollama与AnythingLLM联手打造个人与企业的安全知识库!_anythingllm ollama docker-compose

anythingllm ollama docker-compose

一 Ollama

1.1 简介

Ollama是一个开源的大型语言模型服务工具,它帮助用户快速在本地运行大模型。通过简单的安装指令,用户可以执行一条命令就在本地运行开源大型语言模型,如Llama 2。Ollama极大地简化了在Docker容器内部署和管理LLM的过程,使得用户能够快速地在本地运行大型语言模型。

关于 Ollama 的详细介绍和安装使用请参考如下文章:

1.2 打开ollama端口

Ollama其实有两种模式:

  1. 聊天模式
  2. 服务器模式

这里使用服务器模式,Ollama在后端运行大模型,开发IP和端口给外部软件使用。

下载AnythingLLM之后开始进入启动的配置阶段,开始之前请确保 ollama serve 运行,或者终端执行 ollama run xxx(任何一个模型)。

通过终端或者命令行,访问 http://127.0.0.1:11434 进行验证:

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/IT小白/article/detail/696165
推荐阅读
相关标签
  

闽ICP备14008679号