正向最大匹配算法实现之python实现_正向最大匹配算法 python

1.python 版本：python 3.6.4
2.思路：
s1.导入分词词典，存储为字典形式dic,导入停用词词典stop_words，存储为字典形式,需要分词的文本文件cutTest.txt,存储为字符串chars
s2.遍历分词词典，找出最长的词，长度为max_chars
s3.创建空列表words来存储分词结果
s4.初始化字符串chars分词起点n=0
s5.判断分词点n是否在字符串chars内，即n < len(chars)成立，则进入下一步骤，否则进入s9
s6.根据分词长度i（初始值为max_chars）截取相应的需分词文本chars的字符串s
s7.判断s是否存在于分词词典中，若存在，则分两种情况讨论，一是s是停用词,分词起点n后移i位，转到步骤5；二是s不是停用词，那么直接添加到分词结果words中，分词起点n后移i位，转到步骤5；若不存在，则分两种情况讨论，一是s是停用词，那么添加到分词结果中，分词起点后移i位，转到步骤5；二是s不是停用词，分词长度i > 1时，分词长度i减少1，转到步骤6, 若是此时s是单字，则转入步骤8；
s8.将s添加到分词结果words中，分词起点n后移1位，转到步骤5
s9.将需分词文本chars的分词结果words输出到文本文件result.txt中
3.代码实现

import codecs

#获得分词字典，存储为字典形式
f1 = codecs.open('./corpus/WordList.txt', 'r', encoding='utf8')
dic = {}
while 
1
2
3
4
5
6