读论文：检索式多轮问答，阿里的ESIM模型_多轮问答retrieval

作者：笔触狂放9 | 2024-07-25 09:24:49

踩

多轮问答retrieval

这一篇<Sequential Attention-based Network for Neotic End-to-End Response Selection>，论文地址，是阿里刚刚七月份开源的模型框架。目前在DSTC7的Ubuntu和Advising数据集取得SOTA效果。

介绍检索式多轮问答任务：

对于检索式多轮问答任务，目前有两种主要的结构：

1、sequence-based methods: 将多轮问答语句合并为一列, 连接处用_SOS_隔开, 将整个对话历史视为"一句话"去匹配下一句。

典型论文：

<Multi-view Response Selection for Human-Computer Conversation> EMNLP2016

2、hierarchy-based methods：单独处理每一句话，对句子中的联系进行显式建模。

典型论文：

SMN模型：<Sequential Matching Network A New Architecture for Multi-turn Response Selection in Retrieval-Based Chatbots> ACL2017

DUA模型：<Modeling Multi-turn Conversation with Deep Utterance Aggregation> COLING2018

DAM模型：<Multi-Turn Response Selection for Chatbots with Deep Attention Matching Network> ACL2018

论文简介：

最近两年最好效果的都是hierarchy-based methods的结构，普遍认为hierarchy-based methods比前者好，但这篇ESIM属于前者，证明sequence-based methods还有深挖的潜力。

这篇文章的做法是把2017年的一篇用于做自然语言推断的文章Enhanced Sequential Inference Model（ESIM），将它的结构应用于检索式多轮问答任务。

在ubuntu数据集上，论文先使用一个sentence encoding-based method（图a）从120000个候选答案中初筛出100个答案，因为完全用ESIM模型计算量会很大。这个sentence encoding-based method用的就是Siamese architecture结构，神经网络对上文context和回答进行编码，然后分类器预测context与回答之间的关系。