基于句子相似度的FAQ问答系统

总结一波我的项目之一，历史久远，要把它理清一下。

 

Introduce：日趋增多的网络信息使用户很难迅速从搜索引擎返回的大量信息中找到所需内容。自动问答系统为人们提供了以自然语言提问的交流方式，为用户直接返回所需的答案而不是相关的网页，具有方便、快捷、高效等特点。

Process：本文的问答系统采用了一个FAQ(Frequently Asked Questions)问答库，并基于句子相似度进行设计。

1）首先建立一个足够大的问题答案库，即语料库--------建库

2）然后计算用户提问的问题和语料库中各个问题的相似度-------计算相似度-------余弦定理

3）最后把相似度较高的问题所对应的答案返回给用户。-------返回结果

core: 本文的核心是句子相似度的计算，分别使用了TF-IDF和word2vec两种方法对问句进行向量化，并在此基础上使用进行句子相似度的计算。

Improve：为了提高整个系统的运行速度，本文对算法的计算进行了相应的优化。

key words：FAQ；句子相似度；TF-IDF；word2vec；余弦定理

 

part1: research background and meaning

      

   基于常问问题集的问答系统是在已有的问题答案对的集合中找到与用户提问相匹配的问题，并将其对应的答案直接返回给用户。

     问答系统是目前自然语言处理领域的一个研究热点

    优点：1)让用户用自然语言句子提问

              2）为用户返回一个简洁、准确的答案，而不是一些相关的网页。

     与传统的依靠关键字匹配的搜索引擎相比，能够更好地满足用户的检索需求，更准确地找出用户所需的答案，具有方便、快捷、高效等特点。如果用户的提问与以往的记录相符，可直接将对应的答案提交给用户，免去了重新组织答案的过程，可以提高系统的效率。

 

   常问问题集(FAQ)可以作为自动问答系统中的一个组成部分。它把用户经常提问的问题和相关答案保存起来。对于用户输入的问题，可以首先在常问问题库中查找答案。

    如果能够找到相应的问题，就可以直接将问题所对应的答案返回给用户，而不需要经过问题理解、信息检索、答案抽取等许多复杂的处理过程，提高了效率。我们提出的FAQ(Frequently Asked Questions)系统在根据用户问题建立候选问题集的基础上，建立常问问题集的倒排索引，提高了系统的检索效率，同时，与传统的基于关键词的方法相比，用基于语义的方法计算相似度提高了问题的匹配精度。

 

part 2： FAQ Answering System

2.1 Introduction to FAQ Answering System

 

 

    问答式检索系统允许用户用自然语言提问，从大量异构数据中准确而快速查找出提问的答案，是集自然语言处理技术和信息检索技术与一体的新一代搜索引擎。这种提供准确、简洁的信息的方式更接近于人的思维和习惯，是下一代搜索引擎的发展方向。

    FAQ问答系统是一种已有的“问题-答案”对集合中找到与用户提问相匹配的问句，并将其对应的答案返回给用户的问答式检索系统。由于FAQ问答系统免去了重新组织答案的过程，可以提高系统的效率，还可以提高答案的准确性。这其中要解决的一个关键问题是用户问句与“问题-答案”对集合中问句的相似度比较，并把最佳结果返回给用户。

 

2.2 The "Questions - Answers" Library

     FAQ问答系统需要一个“问题-答案”库的支撑，库的好坏