赞
踩
虽然半监督变分自动编码器 (SemiVAE) 在图像分类任务中工作, 但如果使用vanilla LSTM作为解码器, 则在文本分类任务中失败。从强化学习的角度出发, 验证了解码器区分不同分类标签的能力是必不可少的。因此, 提出了半监督顺序变分自动编码器 (SSVAE), 通过在每个时间步长向其解码器 RNN 输入标签来提高其性能。研究了两种特定的解码器结构, 并验证了这两种结构的有效性。此外, 为了降低训练中的计算复杂度, 提出了一种新的优化方法, 即通过采样估计未标记目标函数的梯度, 并采用两种方差约简技术。在大型电影评论数据集 (IMDB) 和 AG 的新闻语料库上的实验结果表明, 与纯监督分类器相比, 该方法显著提高了分类精度, 并在竞争性能方面取得了更高的竞争力。以前的高级方法。通过整合其他基于预引导的方法, 可以获得最先进的结果。
1)vanilla LSTM将误导解码器忽略标签输入,从而忽视y,在序列输入分类中失败。我们使用在每个step接收标签的 conditional LSTM 使 SSVAE 有效, 并从 RL 的角度给出解释。对两个似是而非的 conditional Lstm 进行了调查。
2)提出了一种优化方法, 通过采样降低 SSVAE 的计算复杂度。并提出了两种不同的基线方法来减小优化方差。通过使用这些基线进行采样, 可以更快地训练模型, 而不会丢失准确性。
3)我们通过在 IMDB 数据集和 AG 的新闻语料库上提供具有竞争力的结果来展示我们方法的性能。我们的模型能够实现非常强劲的性能与当前的模型。
与图像数据的实现不同, 在我们的模型中, 序列数据是由递归网络来建模的。具体而言, 编码器 fenc (·) 和分类器 q (y x) 被 LSTM 网络所取代。
1)指出如果将y和z 串行连接(concatenated)来初始化lstm的话,模型有忽视y的趋势,然而y又是非常重要的。于是通过在每个时间步中feed标签y来提高y对模型的影响,简单有效 ;
2)对于第一点的方法,本文用了两个结构,一个是在每个时间步串联了词嵌入和标签SSVAE-1。 另一个是直接让标签信息不经过四个门单元直接通过记忆单元SSVAE-2
3)SemiVAE的一个限制是数据集的类的规模,因此用蒙特卡洛方法采样可以减少计算复杂度,提出了两种采样方法,S1,S2是指不同 的采样基准, SSVAE-1,2是指 不同的条件LST M实现。
IMDB,AG’s News,无标签数据是从有标签数据转化来的,同时确保数据是平衡的。
数据稀缺是语言理解 (SLU) 领域适应的主要障碍之一, 因为创建手动标记的 SLU 数据集的成本很高。最近在神经文本生成模型, 特别是潜在的变量模型, 如变分自动编码器 (VAE) 的工作, 已显示出很有希望的结果, 在生成似是而非和自然的句子。在本文中, 我们提出了一个新的生成架构, 利用潜在变量模型的生成能力, 共同合成完全注释的话语。我们的实验表明, 现有的 SLU 模型在其他合成示例上进行了训练,
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。