赞
踩
深度学习里的Attention模型其实模拟的是人脑的注意力模型。举个例子来说,当我们阅读一段话时,虽然我们可以看到整句话,但是在我们深入仔细地观察时,其实眼睛聚焦的就只有很少的几个词,也就是说这个时候人脑对整句话的关注并不是均衡的,是有一定的权重区分的。这就是深度学习里的Attention Model的核心思想。具体的可以去阅读Attention模型的论文。
使用Attention模型进行文本分类,可以借助传统的LSTM。双向LSTM+Attention模型如下图:
我将具体的代码放在了我的github,欢迎大家下载:
u784799i/biLSTM_attngithub.com代码中的训练和测试数据一共有6000多条ÿ
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。