赞
踩
转 https://blog.csdn.net/wenyichuan/article/details/78572007
- import re, collections
-
- #我们利用一个叫 words 的函数把语料中的单词全部抽取出来, 转成小写, 并且去除单词中间的特殊符号
- # 单词就会成为字母序列, don't 就变成 don 和 t 了,为了简化操作我们就忽略这个细节
- def words(text): return re.findall('[a-z]+', text.lower())
-
- def train(features):
- #defaultdict类的初始化函数接受一个类型作为参数,当所访问的键不存在的时候,可以实例化一个值作为默认值,及所有键的初始值都为1
- model = collections.defaultdict(lambda: 1)
- for f in features:
- model[f] += 1
- return model
- #NWORDS为一个字典 {单词:次数}
- NWORDS = train(words(open('big.txt').read()))
-
- #字母表 用于编辑距离函数的插入
- alphabet = 'abcdefghijklmnopqrstuvwxyz'
- #返回所有与单词 w 编辑距离为 1 的集合
- def edits1(word):
- n = len(word)
- return set([word[0:i] + word[i + 1:] for i in range(n)] + # 减少一个字母
- [word[0:i] + word[i + 1] + word[i] + word[i + 2:] for i in range(n - 1)] + # 调换相邻间两个字母顺序,ps:人们应该不会将距离远的俩字母写反!
- [word[0:i] + c + word[i + 1:] for i in range(n) for c in alphabet] + # 替换一个字母
- [word[0:i] + c + word[i:] for i in range(n + 1) for c in alphabet]) # 插入一个字母
-
- #返回所有与单词 w 编辑距离为 2 的集合
- #在这些编辑距离小于2的词中间, 只把那些正确的词作为候选词
- def known_edits2(word):
- return set(e2 for e1 in edits1(word) for e2 in edits1(e1) if e2 in NWORDS)
-
- #返回在字典中可以找到的编辑单词
- def known(words): return set(w for w in words if w in NWORDS)
-
- def correct(word):
- # 为了简便我们采用python的短路表达式,如果known(set)非空, candidate 就会选取这个集合,
- # 而不会再继续计算后面的,当然我们也可以将代码写成if-else形式
- candidates = known([word]) or known(edits1(word)) or known_edits2(word) or [word]
- return max(candidates, key=lambda w: NWORDS[w])
-
- if __name__ == '__main__':
- print(correct('somethin'))
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。