在 CPU 上使用 LLAMA 2.0 通过个人数据进行情境学习_llama2 加入自己的数据

作者：很楠不爱3 | 2024-05-29 19:15:16

踩

llama2 加入自己的数据

最终目标

在这里插入图片描述
该模型不仅可以从一组特定文件中给出答案，还可以提及它从何处获取信息。

以下是技术堆栈。

软件规格
操作系统：最好是Ubuntu

Python： 3.10及以上版本

模型：Quantized llama-2–7B-Chat-GGML（以便它可以在 CPU 上运行）[感谢Tom Jobbins ]

矢量数据存储：FAISS

变压器：C变压器

部署：Chainlit

硬盘空间： llama 型号约为 7GB，其余的是您的数据。

RAM：至少 16GB（8GB 将在一两个问题后失败）

创建一个名为 llama2_project 的文件夹并将 llama2 模型下载到其中。该模型可通过此链接获取。

https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGML/blob/main/llama-2-7b-chat.ggmlv3.q8_0.bin
1

在这里插入图片描述
项目文件夹应如下所示：

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/很楠不爱3/article/detail/643639