当前位置:   article > 正文

【AI】本地部署可以与文件沟通的GPT:Llama 2 + GPT4All + Chroma_ollama gpt4all

ollama gpt4all

【背景】

还是继续致力于实践可以保护数据隐私的本地化LLM部署。
这次用的是Llama 2 + GPT4All + Chroma实现RAG。

【概念】

基于LangChain模板的各个部分的作用:

  1. Llama2-》语言模型管理
  2. GPT4ALL-》embedding
  3. Chroma-》文件内容的向量存储,作为内部知识库,不需要网络就可以存储。

【环境构建】

  1. 安装Ollama
    在Linux或Windows的WSL下,使用命令:
curl https://ollama.ai/install.sh | sh
  • 1
  1. 利用Ollama下载一款LLM模型
    比如,下载一个llama2 7b chat模型:
ollama pull llama2:7b-chat
  • 1
  1. 安装LangChain命令行工具CLI:
pip install -U langchain-cli
  • 1
声明:本文内容由网友自发贡献,转载请注明出处:【wpsshop】
推荐阅读
相关标签
  

闽ICP备14008679号