HMM(利用前向后向求概率)_试利用前向概率及后向概率,证明前向后向算法

上文讲到用直接法求概率复杂度很大，本文讲述利用前向后向算法求概率。即给定模型参数λ，以及观测序列，求条件概率$P(O|λ)$

• 前向算法（一定要记住前向概率定义）

  • 前向概率。给定模型参数λ，定义t时刻部分观测序列为$o_1,o_2,...,o_t$，并且状态为$q_i$的概率为前向概率。记为$\alpha_t(i) = P(o_1,o_2,..,o_t \ and \ i_t = q_i | λ)$ ,
  • 接下来我们就可以根据前向概率求得$P(O|λ)$
    
    • 初值$\alpha_1(i) = P(o_1 \ and \ i_t = q_i | λ) = \pi_ib_i(o_1)$
    • 递推 对于$t = 1,2,3,...,T-1$
      则 $\alpha_{t+1}(i) = P(o_1,o_2,..,o_{t+1} \ and \ i_{t+1} = q_i | λ)$
      $= \sum_{j=1}^{N}P(o_1,o_2,..,o_t \ and \ i_t = q_j | λ)a_{ji}b_i(o_{t+1})$
      $= [\sum_{j=1}^{N}\alpha_t(j)a_{ji}]b_i(o_{t+1})$
    • 终止 $P(O|λ) = \sum_{i=1}^{N}\alpha_T(i)$
      显然时间复杂度大幅度降低，只有$O(TN^2)$

• 后向算法（和前向算法如同一辙）

  • 后向概率。给定模型参数λ，定义t时刻部分观测序列为$o_{t+1},o_{t+2},...,o_T$，且状态为$q_i$的概率为后向概率。记为$\beta_t(i) = P(o_{t+1},o_{t+2},...,o_T \ | \ i_t = q_i\ and \ λ)$。这里需要和前向概率区分一下，前向概率$\alpha_t(i)$是包含当前时刻t的观测，而$\beta_t(i)$是不包含当前时刻观测的。
  • 接下来我们根据后向算法求概率$P(O|λ)$
    
    • 初值$\beta_T(i) = P(o_{T+1},o_{T+2},...,o_T| i_T = q_i\ and\ λ) = 1$ 这里和前向概率初值稍作区别
    • 对于t = T-1,T-2,…,1
      $\beta_t(i) = P(o_{t+1},o_{t+2},...,o_T| i_t = q_i\ and\ λ)$
      $= \sum_{j=1}^{N}a_{ij}b_j(o_{t+1})P(o_{t+2},...,o_{T}|i_{t+1}=q_j)$
      $= \sum_{j=1}^{N}a_{ij}b_j(o_{t+1})\beta_{t+1}(j)$
    • 终止$P(O|λ) = \sum_{i=1}^{N}\pi_ib_i(o_1)\beta_1(i)$

• 利用前向和后向计算一些概率（后面参数训练会用到）

  • 计算观测序列概率$P(O|λ)$
    
    • $P(O|λ)$
      $= \sum_{i=1}^{N}\sum_{j=1}^{N}$
      $P(o_1,...,o_t \ and \ i_t = q_i | \lambda)a_{ij}b_j(o_{t+1})$
      $P(o_{t+2},o_{t+3},...,o_T | i_{t+1} = q_j\ and \ λ)$
      $= \sum_{i=1}^{N}\sum_{j=1}^{N}\alpha_t(i)a_{ij}b_j(o_{t+1})\beta_{t+1}(j)$
  • 计算给定模型λ和观测O，在时刻t处于状态$q_i$的概率，记为$\gamma_t(i)=P(i_t = q_i|O,\lambda)$
    
    • $\gamma_t(i)=P(i_t = q_i|O,\lambda)$
      $= P(i_t = q_i,O|\lambda)\div P(O|\lambda)$
      $=\alpha_t(i)\beta_t(i) \div \sum_{i=1}^{N}\alpha_t(i)\beta_t(i)$
  • 计算给定模型λ和观测O，在时刻t处于状态$q_i$ 并且 在时刻t+1处于状态$q_t$的概率，记为$\zeta_t(i,j) = P(i_t = q_i,i_{t+1} = q_j | O,\lambda)$
    $= P(i_t = q_i,i_{t+1} = q_j ,O|\lambda) \div P(O|\lambda)$
    $=\alpha_t(i)a_{ij}b_j(o_{t+1})\beta_{t+1}(j)$
    $\div \sum_{i=1}^{N}\sum_{j=1}^{N}\alpha_t(i)a_{ij}b_j(o_{t+1})\beta_{t+1}(j)$