ABCNN基于注意力的卷积神经网络用于句子建模--模型介绍篇_基于注意力机制的卷积神经网络模型适合所有数据集吗

本文是Wenpeng Yin写的论文“ABCNN: Attention-Based Convolutional Neural Network for Modeling Sentence Pairs”的阅读笔记。其实该作者之前还发过一篇“Convolution Neural Network for Paraphrase Identification”。ABCNN是基于之前发的这篇论文加入了注意力机制。说到基于注意力的CNN，我们之前介绍过一篇Multi-Perspective CNN的论文。该论文也是在别的论文的基础上加入了注意力机制，但其实Attentin机制一般用于RNN模型会有比较好的效果，CNN的话也可以用==

相比这两篇Attention-based的论文，会发现，ABCNN提出了三个层面的Attention方法，有助于更加全面的理解attention在不同层面所能带来的不同作用。下面我们就来介绍一下该论文的模型。

BCNN

BCNN就是ABCNN模型的基础，即没有添加Attention的模型结构。如下图所示：

1， 输入层：
就是将输入句子进行padding后转化成词向量即可。
2，卷积层：
当一开始看到这张结构图的时候我以为采用的是per-dim的卷积