赞
踩
▼最近直播超级多,预约保你有收获
今晚直播:《大模型ChatGLM3应用案例实战》
—1—
为什么要做微调和RAG的对比?
通用大模型存在一定的幻觉问题,通过把企业私有的领域数据知识喂给通用大模型,从而降低了大模型的幻觉,这就是所谓的企业私有大模型,从技术层面来讲,实现企业私有大模型有2个技术手段:微调(Fine-tuning)、RAG(Retrieval Augmented Generation)检索增强生成。这种技术如何选型?很多同学很困惑,今天我们剖析它们的区别,使得同学们能够真正搞定这两种大模型增强技术的本质。
—2—
微调和RAG的区别
第一、知识维度
RAG 对知识的更新时间和经济成本更低。不需要训练,只需要更新数据库即可。
RAG 对知识的掌控力会更强,相比微调更不用担心学不到或者是遗忘的问题。
如果大模型强缺乏某个领域的知识,足量数据的微调才能让模型对该领域有基本的概念,如果不具备领域知识基础,RAG 仍旧无法正确回答。
第二、效果维度
RAG 相比微调能更容易获得更好的效果,突出的是稳定性、可解释性。
对任务模式比较简单的任务,微调能触碰到更高的上限,但是对训练、数据等方面的要求会更苛刻。
幻觉方面,RAG 从各种实测来看,短板基本都在检索模块,只要检索不出大问题,整体效果还是 RAG 比较有优势的。
第三、成本维度
训练方面,RAG 的成本就是更新数据库,但是微调就需要大量的显卡、时间资源。
推理方面,考虑到 RAG 本身需要检索,而且检索层为了确保检索准确,还需要很多额外工作,所以推理的耗时会比微调多,但具体多多少,就要看检索模块的复杂程度了,如果这里面还需要额外调大模型,那成本就会多很多,如果只是小模型之类的,那这个增加可以说是忽略不计。微调后的大模型直接使用,和原本模型的耗时一致。
系统拓展角度。随着项目的发展,大模型训练不一定能支撑多任务,而拿着大模型训好几个,对部署而言并不方便。
通过上述的对比,我们看出,在企业具体的业务场景来看,RAG 技术的综合收益也高于微调技术。但是 RAG 也是不是万能的,RAG 也会存在以下的依赖问题。
RAG 依赖知识库。如果不具备构造知识库的条件,那 RAG 无从谈起,比如:没有具体的业务数据,或者是机器不支持支撑检索之类的。
业务需求并非对知识依赖。比如:某些业务的话术生成,更多是对语言风格的约束,此时要么通过 Prompt 解决,要么就是构造业务数据来进行训练即可,根本没有构造 RAG 的必要。
依赖实时信息而非固有信息。比如:对话摘要是大模型具有的比较强的能力,这种任务更多是依赖收到的对话记录,而非一些固有存储好的内容,此时通过工程手段直接把信息获取导入到模型即可,不需要把对应内容入库了。如果对对话摘要的内容不满意,则应该是通过 Prompt 和微调来解决。当然有人可能会说通过 few-shot 的方式,可以用 RAG,这个当然是可以的,但就不是必须了。
指令不生效或者领域知识完全不具备。大模型此处是短板,那即使是 RAG,把答案摆在面前,也解决不了问题。
内容会受到检索结果局限。有些创造性的任务,本身是想通过大模型获取新的灵感,然而检索结果给到大模型后,大模型往往容易受到限制,这个限制在有些时候是好事,但并非所有时候。
参考链接:https://mp.weixin.qq.com/s/p9QELz-1BZi06HGwcLNnog
—3—
免费领取《AI 大模型技术系列直播》
AI 大模型的知识图谱包括12项核心技能:大模型内核架构、大模型开发 API、开发框架、向量数据库、AI 编程、AI Agent、缓存、算力、RAG、大模型微调、大模型预训练、LLMOps 等。
为了帮助同学们掌握 AI 大模型开发技能,我们准备了一系列免费直播干货,扫码全部领取!
END
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。