赞
踩
1. 最近有很多的工作都是在NMT任务中,让其考虑句法信息(源句法或者是目标句法)来提升模型的效果。所以接下来我就是稍微对这方面进行一些介绍(可能不是很全哦~可能理解比较片面)
2. 我们可以将其简单分为两类:Encoder侧加入句法,Decoder侧加入句法。
3. Encoder侧加入句法:主要是通过修改模型架构,使模型能够编码源句子的句法信息,使其获得的representation更加准确。例如ON_LSTM, Tree Transformer。
4. Decoder侧加入句法:方法又可分为两类,一类是句法作为额外任务进行输出(多任务),使整个模型具有获取句法的能力。另一类则是考虑将各种句法结构融入到Decoder中,使输出的句子更加符合句法约束。这里详细介绍一下第二类方法。感觉目前的文章就是在考虑有哪些句法结构可以表示句法,然后考虑将这个结构怎么与decoder结合起来。例如Sequence-to-Dependency Neural Machine Translation 利用基于转移的依存句法结构,所以其用额外的RNN预测动作序列(因为动作序列确定,所对应的依存结构就可确定)。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。