分词之正向最大匹配法_正向最大匹配算法分词顺序

作者：AllinToyou | 2024-04-06 22:54:57

踩

正向最大匹配算法分词顺序

完整资料和代码获取地址github:zlhcsm

知识普及-正向最大匹配法：
对于输入的一段文本从左至右、以贪心的方式切分出当前位置上长度最大的词。
正向最大匹配算法是基于词典的分词方法，其分词原理是：单词的颗粒度越大，所能表示的含义越确切。
1
2
3

步骤

1，一般从一个字符串的开始位置，选择一个最大长度的词长的片段，如果序列不足最大词长，则选择全部序列。
2，首先看该片段是否在词典中，如果是，则算为一个分出来的词，如果不是，则从右边开始，减少一个字符，然后看短一点的这个片段是否在词典中，一次循环，直到只剩下一个字。
3，序列变为第2步骤截取分词后，剩下的部分序列

核心代码

1.读取字典文件

def init():
   """
   读取字典文件
   载入词典
   :return:
   """
   with open("../dic/dict.txt", "r"1
2
3
4
5
6

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/AllinToyou/article/detail/374843