【AI】一文介绍索引增强生成RAG的原理和结构

今天向大家介绍一下关于RAG的一些知识和经验。
这里说的RAG可以理解为目前针对企业知识库问答等AI应用场景的解决方案，这个场景就是利用自然语言大模型LLM与用户自有的文件进行对话的能力。

【RAG的优势】

首先，讲一讲RAG的优势特征。
如果把AI想象成一个待上岗的人类助手，让这个助手成功帮你做事存在两种方法。
第一种，把你公司的所有业务都让他认真学习，效果是这些知识会真正进入这个助手的大脑，这些知识会被学得，反映到AI，就是FineTuning的过程中，供AI学习的素材会影响这个AI的内部参数。使得在训练成功后这个AI不需要查阅原本的文档就能够根据他目前的综合理解回答你的问题，因为这个AI已经学会了。
这种学习训练的应用方法的缺点也很明显，AI受到的影响是黑盒，用户无法完全把控，只能对结果事后审核。训练过程费时费力，需要高性能的硬件支撑训练过程，成本很高。后续如果有新的知识，那么这个高成本的训练过程也需要持续进行。
第二种方法，就是让助手本身具备正常沟通的能力，接下来需要什么材料，让助手找给你就行了。最多再根据他的CommonSense做一些整理。结论的来源也都会给你标出出处。这就是RAG的模式。LLM只是沟通媒介，AI并没有去真正学习后台向量库的知识，只是把这些知识找到并简单整理。
RAG在企业知识库场景下的优势很明显，无需经历痛苦繁琐的训练过程，后台的知识库可以随时增减，即时生效。结果更加忠于出处并可溯源。

【RAG