马氏链模型总结_将概率转化为马氏链状态

马尔可夫链模型

概念：描述一类重要的随机动态系统（过程）的模型。该过程时间、状态均为离散 的随机转移过程。
特点：
1.系统在每个时期所处的状态是随机的。
2.从一时期到下时期的状态按一定概率转移。
3.下时期状态只取决于本时期状态和转移概率。即已知现在，将来与过去无关（无后效性）

马氏链的基本方程

状态：$\ X_n=1,2,...k(n=1,2,...)$
状态概率：$a_i(n)=P(X_n=i) \qquad(i=1,2,...k;n=0,1,2,...)$
          其中 $\sum_{i=1}^k a_i（n)=1$
转移概率：$p_{ij}=P(X_{n+1}=j|X_n=i)$
         其中$p_{ij} \geq 0$,  $\sum_{j=1}^k p_{ij}=1,i=1,2,...,k$
基本方程：$a_i(n+1)=\sum_{j=1}^k a_j(n)p_{ji}$   i=1,2,…,k

马氏链的两个重要类型

正则链
从任一状态出发经有限次转移能以正概率到达另外任一状态。
吸收链
存在吸收状态（一旦到达就不会离开的状态i, $p_{ii}=1$）,且从任一非吸收状态出发经有限次转移能以正概率到达吸收状态。

使用模型：健康与疾病，钢琴销售的存贮策略，基因遗传，等级结构。

隐马尔可夫模型（HMM)

概念：隐马尔可夫模型是马尔可夫链的一种，它的状态不能直接观察到，但能通过观测向量序列观察到，每个观测向量都是通过某些概率密度分布表现为各种状态，每一个观测向量是由一个具有相应概率密度分布的状态序列产生。

特点：隐马尔可夫模型是一个双重随机过程—-具有一定状态数的隐马尔可夫链和显示随机函数集。

组成：隐马尔可夫模型（HMM）可以用五个元素来描述，包括2个状态集合和3个概率矩阵。
1.隐含状态 S
这些状态之间满足马尔可夫性质，是马尔可夫模型中实际所隐含的状态。这些状态通常无法通过直接观测而得到。（例如S1、S2、S3等等)

2.可观测状态 O
在模型中与隐含状态相关联，可通过直接观测而得到。(例如O1、O2、O3等等，可观测状态的数目不一定要和隐含状态的数目一致）

3.初始状态概率矩阵 π
表示隐含状态在初始时刻t=1的概率矩阵，(例如t=1时，P(S1)=p1、P(S2)=P2、P(S3)=p3，则初始状态概率矩阵 π=[ p1 p2 p3 ].

4. 隐含状态转移概率矩阵 A
描述了HMM模型中各个状态之间的转移概率。
其中$A_{ij }= P( S_j | S_i ),1≤i,,j≤N.$
表示在 t 时刻、状态为 $S_i$的条件下，在 t+1 时刻状态是$S_j$ 的概率。

5. 观测状态转移概率矩阵 B （英文名为Confusion Matrix，直译为混淆矩阵）
令N代表隐含状态数目，M代表可观测状态数目，则：
$B_{ij} = P( O_i | S_j ), 1≤i≤M,1≤j≤N.$
表示在 t 时刻、隐含状态是 $S_j$条件下，观察状态为$O_i$的概率。

令N代表隐含状态数目，M代表可观测状态数目，则：
$B_{ij} = P( O_i | S_j ), 1≤i≤M,1≤j≤N.$
表示在 t 时刻、隐含状态是 Sj 条件下，观察状态为 Oi 的概率。

隐马尔可夫模型以它在时间上的模式识别所知，如语音，手写，手势识别，词类的标记，乐谱，局部放电和生物信息学应用，气象气候预报。