当前位置:   article > 正文

基于HanLP的自然处理入门--词典分词_最大正向匹配分词算法词典

最大正向匹配分词算法词典

词典分词

中文分词算法大致分为基于词典规则与基于机器学习两个大学派,词典分词是最简单、最常见的分词算法。
基于词典的分词首先要准备一份充分大的词典,然后依据一定的策略扫描句子,若句子中的某个子串与词典中的某个词匹配,则分词成功。

常见的扫描策略有:正向最大匹配、逆向最大匹配、双向最大匹配和最少词数分词。

切分算法

1.正向最长匹配

考虑越长的单词表达的意义越丰富,于是定义单词越长优先级越高,具体来说就是在以某个下标为起点递增查词的过程中,优先输出更长的单词。这种规则被称为最长匹配算法,下标扫描顺序从前往后就是正向最长匹配,反之就称之为逆向最长匹配。

python伪代码:

def forward_segment(text, dic):
    word_list = []
    i = 0
    while i < len(text):
        longest_word = text[i]
        for j in range(i+1, len(text)-1):
            word = text[i:j]
            if word in dic:
                if len(word)>len(longest_word):
                    longest_word = word
        word_list.append(longest_word)
        i += len(longest_word)
    return word_list
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
'
运行

2. 逆最长匹配

逆向最长匹配,只是扫描方向与正向最长匹配相反。
python‘伪代码

def backward_segment(text, dic):
    word_list = []
    i = len(text)-1
    while i >=0:
        longest_word = text[i]
        for j in range(0,i):
            word = text[j:i+1]
            if word in dic:
                if len(word)>len(longest_word):
                    longest_word = word
                    break
        word_list.insert(0,longest_word)
        i -= len(longest_word)
    return word_list
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
'
运行

3.双向最长匹配

综合前两种规则:同时执行正向匹配和逆向匹配
1,若两者的词数不同,就返回词数更少的那一个
2.否则,返回两者中单字更少的一个

python伪代码:

def count_single_char(word_list:list):
    return sum(1 for word in word_list if len(word)==1)

def bidirectional_segement(text, dic):
    f = forward_segment(text, dic) #正向最长匹配
    b = backward_segment(text, dic)#逆向最长匹配
    
    if len(f)<len(b):
        return f
    elif len(f)>len(b):
        return b
    else:
        if count_single_char(f)<count_single_char(b):
            return f
        else:
            return b
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
'
运行

词典分词的核心价值在于速度而不在于精度。

HanLP的词典分词实现

HanLP的词典分词主要是两种DoubleArrayTriesSegment分词器,这是基于双数组字典树的最长匹配算法
AhoCorasickDoubleArraytrieSegment分词器是基于双数组字典树的AC自动机的算法

from pyhanlp import *

# DoubleArrayTrieSegment分词器
HanLP.Config.ShowTermNature = False #不显示词性
segment1 = DoubleArrayTrieSegment()

print("DoubletrieSegment分词器结果:",
       segment1.seg("为了避免词性影响,我们在程序启动的时候关掉了词性显示"))
segment2 = JClass('com.hankcs.hanlp.seg.Other.AhoCorasickDoubleArraytrieSegment')()

print("AhoCorasickDoubleArrayTrie分词器结果:",
      segment2.seg("为了避免词性影响美观,我们在程序启动的时候关掉了词性显示"))
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/黑客灵魂/article/detail/812561
推荐阅读
  

闽ICP备14008679号