中文分词笔记之二：隐马尔科夫模型_分词隐马尔科夫模型算法

作者：繁依Fanyi0 | 2024-04-06 17:01:26

踩

分词隐马尔科夫模型算法

这里以中文分词为例：
在正常的马尔可夫模型中，状态对于观察者来说是直接可见的。这样状态的转换概率便是全部的参数。而在隐马尔可夫模型中,状态并不是直接可见的，但受状态影响的某些变量则是可见的。每一个状态在可能输出的符号上都有一定的概率分布。因此输出符号的序列能够透露出状态序列的一些信息。

隐马尔科夫模型一共有两组状态，三个矩阵：

隐藏状态：一个系统的(真实)状态,可以由一个马尔科夫过程进行描述，表示为： $w，w$ 为词。
观察状态：在这个过程中‘可视’的状态，表示为： $C$ （字符串）。
初始状态概率向量：模型在最初隐藏状态的概率，表示为： $P(w)$
状态转移概率矩阵：包含了一个隐藏状态到另一个隐藏状态的概率，表示为： $P(w_n|w_{n-1})$
发射概率（混淆矩阵）：包含了给定隐马尔科夫模型的某一个特殊的隐藏状态,观察到的某个观察状态的概率，表示为： $P(C|S)=1，C$ 为字符串， $S$ 为词 $w$ 组成的词串。

二元分词即齐次隐马尔科夫模型分词

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/373201