自然语言处理实验—分词算法（含python代码及详细例子讲解）_自然语言处理文本分词与虚词过滤详细代码

自然语言处理实验—分词算法

最近在学自然语言处理，这是第一个上机实验自然语言处理的分词算法，也是自然语言处理比较入门的算法。和大家分享一下。
首先，自然语言处理，英文是(Nature Language Process)，简称“NLP"。是人工智能发展的的热门方向，也是和人交互最为相关的人工智能的应用方向。因为是和人打交道，那么需要以人的交流方式–语言来进行交互。
下面给大家介绍NLP里面最基础的算法–分词算法。

1.词典

一个好的NLP系统一定要有完备的词典，用于判断算法分出的词是否是具有实际意义的词。比如，“吃饭”，“睡觉”等。从而过滤掉那些没有实际意义的词。比如，“的是”，“是吃”等。
目前比较熟著名且成熟的词典有：
搜狗实验室发布的互联网词库（SogouW，其中有15万个词条）
清华大学开放中文词库（THUOCL）
码农场千万级巨型汉语词库（千万级词条）

2.切分算法介绍

这里介绍常用的切分算法，具体分为完全切分、正向最长匹配、逆向最长匹配、双向最长匹配算法。

2.1 完全切分

完全切分指的是，找出一段文本中的所有有意义单词，不是标准意义上的分词。
具体实现在代码实现部分的fully_segment的函数部分

2.2 正向最长匹配

就是说从前往后，递增查词，优先输出更长的单词。
具体实现在代码实现部分的forward_segment的函数部分

2.3 逆向最长匹配

与正向最长匹配相反，从后往前，递减查词，优先输出更长的单词，据统计这种方法更具可靠性。
具体实现在代码实现部分的backward_segment的函数部分

2.4 双向最长匹配

属于对正向最长匹配和逆向匹配的折中方案。属于融合两种匹配方法的复杂规则集，流程如下：
1.同时执行正向最长匹配和逆向最长匹配，若两者的次数不同，则返回次数更少的那一个。
2.如果相等，返回两者中单字更少的那一个，当单子数也相同时，优先返回逆向最长匹配的结果。
具体实现在代码实现部分的all_segment的函数部分

3.代码实现

这里引用了几个经典的例子。读者可以自行修改体验。运行代码时，要输入的句子可以是“项目的研究”“商品和服务”“研究生命起源”“当下雨天地面积水”“结婚的和尚未结婚的”“欢迎新老师生前来就餐”。

def select_word(text):
         result = 0
         for i in text:
                  if(len(i)==1):
                           result += 1
         return result
def fully_segment(text,dic):
    word_list = []
    for i in range(len(text)):
         for j in range(i+1,len(text)+1):
                 word=text[i:j]
                 if word in dic:
                          word_list.append(word)
    return word_list
def forward_segment(text,dic):
         word_list = []
         i = 0
         while(i<len(text)):
                  longest_word = text[i]
                  for j in range(i+1,len(text)+1):
                           word = text[i:j]
                           if word in dic:
                                    if len(word)>len(longest_word):
                                             longest_word = word
                  word_list.append(longest_word)
                  i += len(longest_word)
         return word_list
def backward_segment(text,dic):
         word_list = []
         i = len(text)-1
         while(i>=0):
                  longest_word = text[i]
                  for j in range(0,i):
                           word = text[j:i+1]
                           if word in dic:
                                    if len(word)>len(longest_word):
                                             longest_word = word
                  word_list.insert(0,longest_word)
                  i -= len(longest_word)
         return word_list

def all_segment(text,dic):
         list_forward = forward_segment(text,dic)
         list_backward = backward_segment(text,dic)
         list_final = []
         if(len(list_forward)>len(list_backward)):
                  list_final = list_backward[:]
         elif(len(list_forward)<len(list_backward)):
                  list_final = list_forward[:]
         else:
                  if(select_word(list_forward)>select_word(list_backward)):
                           list_final = list_backward[:]
                  elif(select_word(list_forward)<select_word(list_backward)):
                           list_final = list_forward[:]
                  else:
                           list_final = list_backward[:]
         return list_final
dic = [ "项目","研究","目的","商品","服务","和服","研究生","结婚","和尚","结婚","尚未",\
             "生命","起源","当下","雨天","地面","积水","下雨天","欢迎","老师","生前","就餐","迎新","师生","前来"]
                          
if __name__ == "__main__":
         while(1):
                  a = input("请输入你要分词的句子：（输入0结束输入）")
                  if(a=='0'):
                      print("输入结束！")
                      break
                  b = fully_segment(a,dic)
                  print("分词的结果",b)
                  list_forward = forward_segment(a,dic)
                  list_backward = backward_segment(a,dic)
                  list_all = all_segment(a,dic)
                  print("正向最长匹配",list_forward)
                  print("逆向最长匹配",list_backward)
                  print("双向最长匹配",list_all)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74

输出结果分析