【LLMOps】如何借助AI实现智能客服_llmops aiops

作者：很楠不爱3 | 2024-05-23 12:55:49

踩

llmops aiops

文章目录

1. AI胜任智能客服的两个重要能力
- 1.1. 静态知识问答(语言理解)
- 1.2. 动态知识问答(推理)
2. 静态知识问答
- 2.1. RAG
- 2.2. AI模型微调
3. 动态数据获取
- 3.1. 工具
- 3.2. 工具优化
4. LLMOps平台
- 4.1. DIFY
- 4.2. FastGPT
5. 接入客户软件
6. AI科普知识推荐

1. AI胜任智能客服的两个重要能力

在讨论人工智能如何胜任智能客服的角色时，我们可以将智能客服需要掌握和反馈给客户的知识划分为两大类：静态知识和动态知识。对于静态知识，AI能够告诉客户答案。对于动态知识，AI能够分析客户意图，决策出需要调用哪个工具，获取动态数据，然后告诉客户答案。
静态知识问答用到了AI能够像人一样去说话的能力，即语言理解；而动态知识问答除了上述能力之外，还利用了AI对客户意图分析、决策能力，即推理。
上述两种能力共同构成了智能客服系统的核心能力，使其能够有效地处理客户的询问和需求。

1.1. 静态知识问答(语言理解)

静态知识是指那些预先存在、相对固定不变的信息。比如公司基本信息、公司的产品详情或者公司之前客服过程中积累的话术与FAQ。静态知识的特点就是稳定，更新频率很低。这些知识提供给智能客服，它能够迅速准确地回答客户一些基本问题。

1.2. 动态知识问答(推理)

与静态知识相对的是动态知识。这类知识时效性比较强，更新迅速，无法预先提供给AI。所以我们需要让AI分析客户的问题，然后AI决策出是否需要调用工具以及调用哪种工具，获取动态数据，最终返回给客户答案。

2. 静态知识问答

利用AI对静态知识问答目前可以分为以下两种，RAG(Retrieval-Augmented Generation，检索增强生成)与AI模型微调。

2.1. RAG

目前与ChatGPT类似的AI有一个特点，对于它不知道的问题，它也会给出一个看似正确的答案。这个特点被称为"幻觉"。这个特点既可以被看做优势也可以被当成缺陷。如果想利用它做一些创造性的工作，比如写作，幻觉就成了优点。但是在智能客服场景我们肯定不希望看到AI胡言乱语，生成一些错误的答案。这就用到了RAG技术。
RAG技术的本质就是把 **客户的问题 **与 **和这个问题相关的知识 **一起输入到AI中，然后让AI回答这个问题，AI就会根据这些相关知识生成靠谱的答案，有效避免了幻觉问题。

RAG技术可以拆解为两个步骤，R与G，即Retrieval检索与 Generation生成。这两个步骤直接决定回答的质量。
检索就是根据客户问题，去预先上传好的文档中去搜索相关知识，检索到的知识与问题的相关性越强，回答质量越好。用于检索的知识，需要公司提前制备好，即提前创建好知识库。知识库中文档的处理方法有很多，常见的有分块、QA对等，不同的处理方法也会影响检索的效果，这里不再展开介绍。检索的方法有很多，常见的有向量搜索、关键词搜索、ReRank等。
生成就是把客户的问题与相关知识一起输入到AI中，让AI利用这些知识回答用户问题。模型的能力强弱也决定了回答质量。但是目前gpt-3.5或大部分国内模型已经能够很好的处理这种场景，成本也较低。

2.2. AI模型微调

与RAG相对的是AI模型微调。在RAG场景中，我们是把问题与可能用到的知识一起传给AI，这对模型来说是开卷考试，而且相当于以前从来没有听过课的学生参见开卷考试，考场上找答案、看答案然后回答问题。
而AI模型微调场景相当于闭卷考试。模型提前已经把相关知识点都熟练掌握了，客户问它问题AI模型直接就能回答问题，不用现场找答案，回答速度比较好；而且已经提前理解了知识点，不是现学的，回答质量也相对较好。但是AI模型微调往往需要较大的成本投入，在微调阶段需要人力准备微调数据、需要购买显卡提供算力，然后微调也需要花费一些时间，最后微调完成后需要部署企业内部，部署模型也需要算力的支持。这其中需要投入较大的时间、人力与算力成本，而且相比于RAG方式，提示可能也没有很明显。除非出于数据保密或其他必要原因，一般企业不需要AI模型微调。

3. 动态数据获取

动态数据获取是依靠AI识别客户意图，然后AI决策出需要使用哪个工具获取动态数据。

3.1. 工具

工具可以简单理解为一个接口，访问这个接口可以获取到动态的数据。比如我们存在一个订单信息查询的工具。用户的问题是我想查询"xxx"订单信息。AI首先会分析出用户要查询订单信息，然后决定使用订单查询的工具，同时AI也会把订单的号码"xxx"提取出来，把订单号传入到工具中，工具调用该订单查询的接口，获取到订单的实时数据，最后AI根据获取到的动态数据回答用户的问题。
上述只是举了一个简单的例子，实际上应用场景可以更复杂。比如是一个工作流，已经执行完一些步骤了，我们告诉AI已经执行了哪些步骤等必要的上下文，让AI去决策接下来执行哪个步骤。
具体如何让AI决策使用工具，有function call方法以及ReAct提示模板方法，可以自行去了解，这里也不再展开介绍。

3.2. 工具优化

我们知道，调用哪些工具，以及根据工具的返回结果回答客户问题完全是依靠模型实现的。工具越多，工具调用的步骤越复杂，工具返回的结果越复杂，模型可能会出错。为了降低这个错误率，对模型的能力要求就会更高，同时模型的使用成本也会更高。为了避免这种情况，我们可以把多步骤的接口合并成一个，让AI模型直接调用。
比如查询订单可能需要调用3个接口：鉴权、订阅、查询订单，如果直接让AI使用这三个工具，AI需要三个步骤才能获取到订单数据，对模型的要求就会升高，问题回答速度也会变慢。我们就可以把这三个接口合并成一个接口，对外提供服务。大多数情况，为了不影响原来的业务，我们可能无法改动这三个接口，所以我们可以专门做一个接口整合的服务，去中转这些复杂的接口，只提供给模型易用的接口。
另外一个优化的方向是工具返回的结果，还是以订单查询接口为例，如果接口直接返回一个json结构，而且字段中都是英文缩写，AI可能根本无法理解这些字段的含义。一种方法是我们可以在提示词中预先告诉模型每个字段的含义，但是这样不够方便。最直接的方法是我们把接口返回的信息翻译成模型容易理解的自然语言(即人话)，这样模型更容易理解这个结果。

4. LLMOps平台

LLMOps(Large Language Model Operations)平台是大型语言模型运维平台。LLM即上文提到的AI模型，这种AI模型能够生成人话，并且能够代替人进行一些智能的决策。在上文中我们介绍了模型微调、RAG、工具调用等这些功能，上述功能如果我们从0开始开发的话，需要大量的时间。而LLMOps平台就是帮我们解决这个问题，它是一个框架，我们利用这个框架能很快地实现微调、RAG、工具调用等功能。
从我个人理解来看，LLMOps平台应该具有如下功能：