统计分词

作者：煮酒与君饮 | 2024-08-06 04:51:54

踩

统计分词

思想：

把每个词看成是各个字组成，如果相连的字在不同的文本中出现次数越多，相连的字很可能是一个词

利用字与字相邻出现的频率反映词的可靠度

buzhou：

建立统计语言模型

对句子进行单词划分，然后对划分结果进行概率计算，获得最大概率的分词方式

语言模型：

长度为m的字符串确定其概率分布为P(w1,w2,.......wm)其中，w1,w2,wm依次表示文本中的各个词语

转载于:https://www.cnblogs.com/hapyygril/p/9924188.html

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/煮酒与君饮/article/detail/935868