赞
踩
原文地址:build-end-to-end-rag-pipeline-with-monitoring-and-evaluation-using-langchain-azure-ai-search
2024 年 4 月 21 日
使用现代的LLM框架,如Langchain或llamaindex,可以迅速搭建一个用于 RAG 的管道,通常只需编写大约5-6行代码。然而,若要构建一个适用于生产环境的RAG应用程序,仅仅实现文档查询是远远不够的。
在本文中,我们将深入探讨如何设计一个完整的端到端生产级RAG管道,并讨论在构建过程中需要考虑的额外层次和组件。
构建 e2e RAG 管道的架构层
Langchain:Langchain 可以轻松构建和设计基于 LLM 的应用程序。它提供了出色的抽象和内置功能,可以从头开始开发基于 RAG 的应用程序
Azure AI 搜索:Azure AI 搜索是来自 Azure 技术栈的搜索引擎。它在传统和 GenAI 搜索应用程序中对用户拥有的内容提供大规模的安全信息检索
Langfuse:Langfuse 是开源监控和可观察性工具。这有助于在整个生命周期中构建和改进LLMs应用。它提供跟踪、评估、提示管理和指标功能。可以轻松部署到本地系统或云服务
NeMo-Guardrails: NeMo-guardrails 是个开源工具包,可轻松将可编程护栏添加到基于 LLM 的对话系统中。关键护栏包括输入护栏、输出护栏和对话护栏。
Ragas: Ragas 是个框架,可帮助您评估检索增强生成 (RAG) 管道。这提供了有助于评估 RAG 的关键指标。
Azure OpenAI 搜索:
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。