当前位置:   article > 正文

讨论OOV(新词,也叫未登录词,词典之外的词语)问题的解决方案_oov问题

oov问题

1. 解决方案

分为两部分:
1)修正领域词典:新词提取,扩充词典
2)缩小词典大小:wordpiece - 将词切分为更小粒度(将词汇拆成实义词+词根)。主要用于英文词典,因为英语的词根是有规律的。

目标:调查具体实现方案、背景知识、代码细节、比较每个方案的优点和问题、讨论适用场景。

2. 新词提取

2.1 具体实现方案

2.2 背景知识

2.3 代码细节

2.4 方案比较 & 适用场景讨论

3. wordpiece

3.1 具体实现方案

3.2 背景知识

3.3 代码细节

3.4 方案比较 & 适用场景讨论

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/花生_TL007/article/detail/451810
推荐阅读
相关标签
  

闽ICP备14008679号