中文文本纠错模型bert4keras_中文语句纠正模型

作者：Gausst松鼠会 | 2024-04-03 18:07:55

踩

中文语句纠正模型

中文文本纠错模型
这里提供三种文本纠错模型的实现

bert语言模型+字音字形相似度
correction_basic.py
缺点:
不能解决多字,少字问题
MLM
correction_mlm.py 利用bert的MLM训练机制实现纠错功能
输入: [CLS]错误句子[SEP][MASK][MASK]…[MASK][SEP]
输出: 正确句子
seq2seq
correction_seq2seq.py 使用文本生成的方式生成正确句子
输入: [CLS]错误句子[SEP][MASK][MASK]…[MASK][SEP
输出: 正确句子
*　缺点：推断速度比较慢

https://github.com/fushengwuyu/chinese_spelling_correction

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Gausst松鼠会/article/detail/356327