【大模型部署及其应用 】使用 Llama 3 开源和 Elastic 构建 RAG

使用 Llama 3 开源和 Elastic 构建 RAG

本博客将介绍使用两种方法实现 RAG。

Elastic、Llamaindex、Llama 3（8B）版本使用 Ollama 在本地运行。

Elastic、Langchain、ELSER v2、Llama 3（8B）版本使用 Ollama 在本地运行。

笔记本可从此GitHub位置获取。

在开始之前，让我们快速了解一下 Llama 3。

Llama 3 概述

Llama 3 是 Meta 最近推出的开源大型语言模型。这是 Llama 2 的后继者，根据已发布的指标，这是一个重大改进。与 Gemma 7B Instruct、Mistral 7B Instruct 等最近发布的一些模型相比，它具有良好的评估指标。该模型有两个变体，分别是 80 亿和 700 亿参数。值得注意的是，在撰写这篇博客时，Meta 仍在训练 400B+ 版本的 Llama 3。

Meta Llama 3 指导模型性能。（来自 https://ai.meta.com/blog/meta-llama-3/）

上图展示了 Llama3 在不同数据集上的表现，并与其他模型进行了对比。为了针对真实场景进行性能优化，Llama3 还在高质量的人工评估集上进行了评估。

跨多个类别和提示的人工评估的汇总结果（来自https://ai.meta.com/blog/meta-llama-3/）

<