创业营回顾：“大模型落地行业问答的现实挑战及潜在的缓解策略”

大模型落地的故事，与千行百业越来越密切。当下，大模型已向大众展现了其惊人的生成能力，与此同时，我们不可否认LLM依然面临着一些有待解决的问题，比如，偶尔会生成与用户输入不符的内容、与之前生成的内容相矛盾，或者与已有的认知共识不一致的内容，这也就是大模型的生成”幻觉“(Hallucination)问题，也是目前大模型行应用需要突破的新方向。

近日，我们邀请《老刘说NLP技术》公众号作者、NLP开源爱好者老刘，在由百度飞桨、文心大模型、BV百度风投联合主办的AGI Foundathon·大模型创业松活动，线上AGI创业营第三期中，围绕 “大模型落地行业问答的现实挑战及潜在的缓解策略”主题展开讨论，详细地分享了大模型用于行业问答的实现和挑战，大模型幻觉的概念、来源和评估，大模型幻觉如何缓解，最后对大模型的幻觉行业认识进行了总结。

精彩内容提示

大模型用于行业问答的实现和挑战

1、 知识外挂是解决垂直行业领域问答较好途径之一。从方法论上，可以分成领域微调[增量预训以及领域微调]与上下文注入[外挂知识库]两类方法。

2、与大模型结合通过语料库准备、问题输入、向量搜索、计算向量相似度、Prompt优化、结果返回实现文档问答。

3、Langchain实现文档问答的流程:加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量中匹配出与问句向量最相似的top k个 -> 匹配出的文本作为上下文和问题一起添加到prompt中 -> 提交给LLM生成回答。

4、针对大模型文档问答的现实问题的优化方式有：

• 找到更好的向量化方法提升相关性

• 结合传统搜索做多路召回提升相关性

• 引入关键词信息提升相关性

• 搭建意图识别、知识库细化等组件提升相关性

大模型幻觉的概念、来源和评估

1、什么是大模型幻觉？

2、大模型幻觉来源于大模型缺乏相关知识或内化错误知识、大模型有时会高估自己的能力、有问题的对齐过程和LLM采用的生成策略。

3、大模型幻觉的评估方式：生成事实陈述评估和判别式基准评估。

大模型幻觉如何缓解

1、构造高质量预训数据缓解大模型幻觉。

2、通过优化解码策略缓解大模型幻觉，例如：上下文感知解码（CAD）策、KNN+LLM策略、RALM、Dola、找到对比层。

3、外挂知识库增强，缓解幻觉。

4、引入知识图谱结构化知识库，缓解幻觉。

5、量化结果置信度，缓解幻觉。

总结

1、行业文档问答落地需要关注的点：

• 一个好的文档标准化解析组件

• 一个好的文本切分方法

• 一个好的向量化表示组件

• 一个高效的向量化搜索与组件

• 一个好的Prompt

• 一个效果好大生成模型

2、大模型落地行业问答的形态主要是文档智能+kg+LLM三驾马车。

3、文档智能的重要性可能被低估。

AGI Foundathon 大模型创业松

当想象力被释放，我们在期待应用层的创造，寻找AI-Native创业者，探索AGI时代新可能！

大模型时代，应用层的机会属于每一个有野心、有想象力的人，我们希望与所有 AI-Native 创业者在这里聚集与相互启发，我们集结顶级投资人和技术大咖，与你一起完成从“idea”到“demo”再到公开产品的跨越，助力你探索早期增长和市场需求，迈出AI创业的第一步！

AGI Foundathon自9月11日上线后，已经吸引了1577多名优秀的大模型开发者、富有产品sense的创业者加入社群，超过436支队伍报名参赛！我们期待更多还在观望的朋友们报名参赛，让我们一起用行动拥抱大模型时代的到来～

如果你是AI创业者，欢迎投递你的想法至ext_foundathon@baidu.com

‍‍

关注【飞桨PaddlePaddle】公众号

获取更多技术内容~

‍

‍