赞
踩
CNN卷积神经网络多见于图像识别或图像处理任务。但是在NLP(自然语言处理)任务中也有它的用武之地。在这里对卷积神经网络进行简单的介绍,并对一维卷积神经网络在NLP任务中的使用进行简单的介绍,希望对接触或使用CNN的小伙伴们有帮助,也欢迎大家就原理及内容进行评论探讨。
中文文本有其特有的语法特点,每个字本身都具有一定的含义。连字成词,连词成文。这就意味着,词共现概率可以在中文文本的NLP任务重发挥重要作用。
什么是词共现概率呢?简单说,形式上就是一种条件概率。条件就是“单词A出现”,然后概率值的的含义就是当“单词A出现”时,相邻的单词B出现的概率,以此类推。
在训练模型时需要设定好窗口范围,比如当前词前两个词加后两个词,共五个词,的共现概率可以组成一个数组。通过这种方式,可以将分好词的文本向量化。
卷积,其实是自然界中最常见的现象。一句话,就是移位乘加运算。
核心在于,根据任务的不同,怎样设计卷积的维度与窗口,并设定好移位卷积运算的步长。
中文文本是序列化的语言,在进行数字化、向量化时,特别适合做成一维数据序列。这样设计的神经网络模型运算效率会比较高。
卷积神经网络处理中文文本的优势在于特征提取速度快,缺点是卷积窗口覆盖范围内的文本原词之间的相互联系体现不出来。可以通过配合词共现概率的数字化方式得以弥补和改善。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。