Anything本地知识库问答系统：基于检索增强生成式应用（RAG）两阶段检索、支持海量数据、跨语种问答_anything rag

QAnything本地知识库问答系统：基于检索增强生成式应用（RAG）两阶段检索、支持海量数据、跨语种问答

QAnything (Question and Answer based on Anything) 是致力于支持任意格式文件或数据库的本地知识库问答系统，可断网安装使用。

您的任何格式的本地文件都可以往里扔，即可获得准确、快速、靠谱的问答体验。

目前已支持格式: PDF，Word(doc/docx)，PPT，Markdown，Eml，TXT，图片（jpg，png等），网页链接，更多格式，敬请期待…

• 特点

  • 数据安全，支持全程拔网线安装使用。
  • 支持跨语种问答，中英文问答随意切换，无所谓文件是什么语种。
  • 支持海量数据问答，两阶段向量排序，解决了大规模数据检索退化的问题，数据越多，效果越好。
  • 高性能生产级系统，可直接部署企业应用。
  • 易用性，无需繁琐的配置，一键安装部署，拿来就用。
  • 支持选择多知识库问答。

• 架构

1.两阶段检索优势

知识库数据量大的场景下两阶段优势非常明显，如果只用一阶段embedding检索，随着数据量增大会出现检索退化的问题，如下图中绿线所示，二阶段rerank重排后能实现准确率稳定增长，即数据越多，效果越好。

BCEmbedding是由网易有道开发的中英双语和跨语种语义表征算法模型库，其中包含 EmbeddingModel和 RerankerModel两类基础模型。EmbeddingModel专门用于生成语义向量，在语义搜索和问答中起着关键作用，而 RerankerModel擅长优化语义搜索结果和语义相关顺序精排。

BCEmbedding作为有道的检索增强生成式应用（RAG）的基石，特别是在QAnything [github]中发挥着重要作用。QAnything作为一个网易有道开源项目，在有道许多产品中有很好的应用实践，比如有道速读和有道翻译。

QAnything使用的检索组件BCEmbedding有非常强悍的双语和跨语种能力，能消除语义检索里面的中英语言之间的差异，
从而实现：

• 强大的双语和跨语种语义表征能力【基于MTEB的语义表征评测指标】。
• 基于LlamaIndex的RAG评测，表现SOTA【基于LlamaIndex的RAG评测指标】。

• 双语和跨语种优势
  • 现有的单个语义表征模型在双语和跨语种场景中常常表现不佳，特别是在中文、英文及其跨语种任务中。BCEmbedding充分利用有道翻译引擎的优势，实现只需一个模型就可以在单语、双语和跨语种场景中表现出卓越的性能。

EmbeddingModel支持中文和英文（之后会支持更多语种）；RerankerModel支持中文，英文，日文和韩文。

1.1 一阶段检索（embedding）

• 更详细的评测结果详见Embedding模型指标汇总。

1.2二阶段检索（rerank）

• 更详细的评测结果详见Reranker模型指标汇总

• Reranker Evaluation Results

  • Language: en

    • Task Type: Reranking

      Model	AskUbuntuDupQuestions	MindSmallReranking	SciDocsRR	StackOverflowDupQuestions	AVG
      bge-reranker-base	54.70	28.48	67.09	37.55	46.96
      bge-reranker-large	58.73	28.84	71.30	39.04	49.48
      bce-reranker-base_v1	56.54	30.73	75.79	42.88	51.48

    • Summary on en

      Model	Reranking	AVG
      bge-reranker-base	46.96	46.96
      bge-reranker-large	49.48	49.48
      bce-reranker-base_v1	51.48	51.48

  • Language: zh

    • Task Type: Reranking

      Model	T2Reranking	MMarcoReranking	CMedQAv1	CMedQAv2	AVG
      bge-reranker-base	67.28	35.46	81.27	84.10	67.03
      bge-reranker-large	67.60	37.64	82.14	84.18	67.89
      bce-reranker-base_v1	70.25	34.13	79.64	81.31	66.33

    • Summary on zh

      Model	Reranking	AVG
      bge-reranker-base	67.03	67.03
      bge-reranker-large	67.89	67.89
      bce-reranker-base_v1	66.33	66.33

  • Language: en-zh

    • Task Type: Reranking

      Model	T2RerankingEn2Zh	MMarcoRerankingEn2Zh	AVG
      bge-reranker-base	60.45	64.41	62.43
      bge-reranker-large	61.64	67.17	64.41
      bce-reranker-base_v1	63.63	67.92	65.78

    • Summary on en-zh

      Model	Reranking	AVG
      bge-reranker-base	62.43	62.43
      bge-reranker-large	64.41	64.41
      bce-reranker-base_v1	65.78	65.78

  • Language: zh-en

    • Task Type: Reranking

      Model	T2RerankingZh2En	MMarcoRerankingZh2En	AVG
      bge-reranker-base	63.94	63.79	63.87
      bge-reranker-large	64.13	67.89	66.01
      bce-reranker-base_v1	65.38	67.23	66.31

    • Summary on zh-en

      Model	Reranking	AVG
      bge-reranker-base	63.87	63.87
      bge-reranker-large	66.01	66.01
      bce-reranker-base_v1	66.31	66.31

    • Summary on all langs: ['en', 'zh', 'en-zh', 'zh-en']

      Model	Reranking (12)	AVG (12)
      bge-reranker-base	59.04	59.04
      bge-reranker-large	60.86	60.86
      bce-reranker-base_v1	61.29	61.29

1.3 基于LlamaIndex的RAG评测（embedding and rerank）

NOTE:

• 在WithoutReranker列中，我们的bce-embedding-base_v1模型优于所有其他embedding模型。
• 在固定embedding模型的情况下，我们的bce-reranker-base_v1模型达到了最佳表现。
• bce-embedding-base_v1和bce-reranker-base_v1的组合是SOTA。
• 如果想单独使用embedding和rerank请参阅：BCEmbedding

2.LLM

开源版本QAnything的大模型基于通义千问，并在大量专业问答数据集上进行微调；在千问的基础上大大加强了问答的能力。
如果需要商用请遵循千问的license，具体请参阅：通义千问

• 本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】