一文详解检索增强语言模型新范式REPLUG

来自：AI算法小喵 公众号

写在前面

好久不见，今天小喵要跟大家分享一篇23年2月的论文《REPLUG: Retrieval-Augmented Black-Box Language Models》^[1]，这么热乎的文章，建议大家先收藏再看。

23年的这篇论文提出了检索增强的新范式，即REPLUG。它将语言模型当作一个黑盒子，即冻结语言模型的参数不再优化，转而去优化检索组件让检索组件来适配语言模型，以此来消除语言模型的“幻觉”，减少事实性错误的生成。

关键词：检索增强、向量检索、困惑度、幻觉、事实性错误

1. LLM的幻觉

GPT-3等LLM（large language models，大语言模型）能力很强，在各个任务上都有非常不错的表现。但是，在LLM强大的背后，有着很多不能被忽视的缺陷。

首先，LLM对资源的要求高。比如，假设我们微调BLOOM-176B，就需要72张显存为80GB的A100显卡。没钱没资源或者资源有限的我们除流下两行热泪外，也可以退而求其次，去使用一些小模型（附：GPT-1到GPT-3的参数量是越来越大，从5GB到45TB，你仔细品一品这个趋势 本文内容由网友自发贡献，转载请注明出处：https://www.wpsshop.cn/w/小蓝xlanll/article/detail/196522