自然语言处理入门练习（三）：基于注意力机制的文本匹配（附代码）_参数匹配 自然语言处理

自然语言处理入门练习（三）：基于注意力机制的文本匹配（附代码）

一、注意力机制

1 认知神经学中的注意力

  注意力（Attention）：人脑可以有意或无意地从这些大量输入信息中选择小部分的有用信息来重点处理，并忽略其他信息。
  注意力一般分为两种：
  （1）自上而下的有意识的注意力，称为聚焦式注意力（Focus Attention）。聚焦式注意力是指有预定目的、依赖任务的，主动有意识地聚焦于某一对象的注意力。
  （2）自下而上的无意识的注意力，称为基于显著性的注意力（Saliency Based Attention）。基于显著性的注意力是由外界刺激驱动的注意，不需要主动干预，也和任务无关。如果一个对象的刺激信息不同于其周围信息，一种无意识的“赢者通吃”（Winner-Take-All）或者门控（Gating）机制就可以把注意力转向这个对象。不管这些注意力是有意还是无意，大部分的人脑活动都需要依赖注意力，比如记忆信息、阅读或思考等。

2 注意力机制

  注意力机制（AttentionMechanism）作为一种资源分配方案，将有限的计算资源用来处理更重要的信息，是解决信息超载问题的主要手段。
  用