【NLP-ChatBot】搜索引擎的最终形态之问答系统（FAQ）详述

我们之前介绍过，按照应用场景的不同，聊天机器人可以分为问答系统，对话系统以及闲聊机器人三类。今天我们就来详细讲一讲其中的问答系统。

问答系统是基于用户的问题，给定一个回答，不涉及到多轮对话。通常用于智能搜索，智能家居中的家电控制等场景。问答系统往往不需要调用业务能力，只需要完成对用户问题的匹配及回答。

我们之前介绍过，问答系统的任务其实就是，对用户的输入进行相似度或者相关性计算，然后在相应的FAQ库里，寻找该用户输入对应的答案，并返回给用户。

通常，一个问答系统，都是针对某一个领域的。例如，一个淘宝卖家的问答系统，针对的是买家常问的商品类型和价格信息问题作出回答。

因此，要构建一个问答系统第一步就是整理FAQ库。一个FAQ库应该如下的内容：

FAQ库的质量，对于一个问答系统非常的重要，但是FAQ库的建立和维护往往都是一件极其费时费人力的事情。当一个FAQ库规模变大时，相似问之间的界限开始变的迷糊，会给算法带来非常大的挑战；另一方面，当FAQ库规模很大时，后期的维护也变得非常的困难。例如，当系统出现bad case，数据师很难判断bad case出现的原因，无法判断是哪条标准问对应的相似问加错了，从而很难修改。

对于一个问答系统而言，高质量FAQ库需要建立的时候就异常用心，通常需要业务专家和算法工程师通力合作；在使用时也需要倍加用心的维护，这时，需要培养多位既了解算法特性，又熟悉业务场景的数据师。这大概是目前生产中大部分问答系统采用维护方案了。

在问答系统中，模型算法的任务其实就根据用户输入的问题匹配到相应的答案。这看起来是个简单的问题，实际上不然。

一方面，一个标准问，用户可能的问法有很多，很多时候都无法预料，需要不断的完善；另一方面，FAQ库的规模通常很大，标问数目可以达到数万，相似问的数据可能就更多了。这么大数目的预料，长度不一，算法难度很大。

模型的训练过程，其实就是让模型能够学习到问题-答案（Q-A）对之间的联系，或者Query集的特征。如下图所示，是QA中匹配用户query的模式。

由此可知，目前QA系统的实现，主要有以下三种方式：

由上节可知，问答系统中的匹配可以归结为query与FAQ库中标问和相似问的相似度计算与query与FAQ库中答案的相关性计算。总的来说，目前相似度或相关性计算有下面的几种方式。

1）规则匹配

也许有读者会觉得很惊讶，都9012了，还有人用规则匹配来做机器人？其实不必惊讶，目前，很多机器人都有规则匹配的部分，它可控，高效、易于实现。

我这里介绍一种规则匹配的方式，也有人称为句式法。所谓句式法，就是针对FAQ库中的标问和相似问进行分词、提炼出大量的概念，并将上述概念组合，构成大量的句式，句式再进行组合形成标问。例如，标问“华为mate30现在的价格是多少？”，拆出来“华为mate30”是cellphone概念，“价格是多少”是askMoney概念，“现在”是time概念，那么“华为mate30现在的价格是多少？”就是cellphone+askMoney+time。用户输入"华为mate30现在卖多少钱？"进行分词，可以得到相同的句式和概念组合，就能够命中“华为mate30现在的价格是多少？”这个相似问了。

2）深度学习语义匹配

语义匹配笔者之前有介绍相关的代表性论文，感兴趣的同学可以仔细看看，非常有好处：

语义匹配的技术，从早期的DSSM，利用词袋模型，计算句之间的相似度；到后面利用LSTM-DSSM来捕捉长时间序列的语义信息；再到现在的基于BERT的语义相似度计算与匹配。本质上，其实都是提取句子的语义特征，再通过数学运算计算相似度。

Knowledge Based Question&Answer（KBQA），是一种基于知识体系的问答系统，现在知识库更多的是指知识图谱了。

KBQA回答用户问题的方式通常有如下两个步骤组成：

搭建KBQA中最重要最关键的一步就在于知识图谱的搭建。知识图谱对于绝大部分NLP任务都有极大的加成，个人认为是当前最有价值的NLP方向。

转载文章请后台联系

侵权必究