A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models_crud-rag: a comprehensive chinese benchmark for re

本文是LLM系列文章，针对《CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models》的翻译。

摘要

检索增强生成（RAG）是一种通过引入外部知识源来增强大型语言模型（LLM）能力的技术。这种方法解决了LLM的常见局限性，包括过时的信息和产生不准确“幻觉”内容的趋势。然而，评估RAG系统是一个挑战。大多数当前的基准测试主要集中在问答应用程序上，而忽略了RAG可能有益的更广泛的场景。此外，他们在实验中只评估了RAG管道的LLM组件的性能，而忽略了检索组件和外部知识数据库构建的影响。为了解决这些问题，本文构建了一个大规模、更全面的基准，并在各种RAG应用场景中评估了RAG系统的所有组件。具体来说，我们指的是描述用户和知识库之间交互的CRUD操作，还将RAG应用程序的范围划分为四种不同的类型——创建、读取、更新和删除ÿ