当前位置:   article > 正文

【NLP】句法信息在机器翻译(machine Translation)的应用

句法信息

        1. 最近有很多的工作都是在NMT任务中,让其考虑句法信息(源句法或者是目标句法)来提升模型的效果。所以接下来我就是稍微对这方面进行一些介绍(可能不是很全哦~可能理解比较片面)

        2. 我们可以将其简单分为两类:Encoder侧加入句法,Decoder侧加入句法。

        3. Encoder侧加入句法:主要是通过修改模型架构,使模型能够编码源句子的句法信息,使其获得的representation更加准确。例如ON_LSTM, Tree Transformer。

        4. Decoder侧加入句法:方法又可分为两类,一类是句法作为额外任务进行输出(多任务),使整个模型具有获取句法的能力。另一类则是考虑将各种句法结构融入到Decoder中,使输出的句子更加符合句法约束。这里详细介绍一下第二类方法。感觉目前的文章就是在考虑有哪些句法结构可以表示句法,然后考虑将这个结构怎么与decoder结合起来。例如Sequence-to-Dependency Neural Machine Translation 利用基于转移的依存句法结构,所以其用额外的RNN预测动作序列(因为动作序列确定,所对应的依存结构就可确定)。

      

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/Cpp五条/article/detail/378819
推荐阅读
相关标签
  

闽ICP备14008679号