OceanMind海睿思-知信版本升级：多轮对话+LLM加速！

OceanMind海睿思-知信 产品能力全新升级：

❖ 知识库增加多轮对话能力，给用户带来更“人性化”的问答体验

❖ 自研大模型推理加速机制，为大模型回答提速，减少用户等待时间消耗

1

多轮对话升级

基于“RAG+大模型”框架的知识库问答，丢失了大模型本身具备的上下文记忆和多轮对话能力，在解决多轮对话场景时，存在两个难点：

升级前问答效果展示

• 用户问题通常隐藏在上下文中，不会在当前问题完全给出
• 需要兼顾知识库内召回结果与对话上下文隐含语义

针对以上难点，知信提出基于“对话历史补全当前问题”的多轮问答机制：

• 划分对话间内存区域，记录对话内容，包括问题、检索召回结果和LLM回答
• 基于内存记录信息对当前对话问题进行补全修改
• 根据历史召回结果或最新知识召回结果进行大模型生成回答

知信加入多轮对话机制后，能充分记录上下文信息，并有效理解多轮对话中问题的隐含信息，实现问答效果的优化。

例如，针对以上两个多轮问题的回答效果如下：

升级后问答效果展示

2

LLM推理加速

大模型内容生成基于decoder的循环输出，每一个输出token都需要消耗等量的资源，为降低大模型的资源消耗，同时应对多用户、多步骤带来的并发和性能压力，海睿思知信提出了一种结合机器学习和投机采样的大模型推理加速方法。根据实际测评效果，相较于原生大模型的推理速度基线，知信的LLM加速方法可以实现大模型文本生成速度6倍左右的提升，同时可保证模型在并发请求的情况下性能不受到影响。

3

升级效果实测

“数据资产入表”是企业数字化转型的最新热点话题。

欢迎您来实测体验海睿思知信，通过问答方式快速了解中新赛克海睿思产品体系如何为数据资产入表赋能。