浅谈马尔可夫预测方法_首先将不同类型的转移数

浅谈马尔可夫预测

---

前言

某一系统在已知现在情况的条件下，系统未来时刻的情况只与现在有关，而与过去的历史无直接关系，描述这类随机现象的数学模型称为马尔可夫模型，简称马氏模型

---

一、马尔可夫链的定义

1.2 定义1：

{ξ_n，n=1,2,…}是一个随机序列，状态空间E为有限或可列集，对于任意的正整数m，n，
若i，j，i_k∈E(k=1 , … , n-1),有
P{ξ_n+m=j | ξ_n=i，ξ_n-1=i_n-1，…，ξ₁=i₁}=P{ξ_n+m=j | ξ_n= i } （1）
则称{ξ_n，n=1,2,…}是一个马尔科夫链（简称马氏链）, (1)式称为马氏性。

（对于(1)式的理解：我们可以先假设m=1，我们可以把它当成某种关于天数问题看，假设第一天是某种状态，第二天是某种状态，第n天是某种状态，这个时候我们要求第n+1天是某种状态的概率，我们就用P{ξ_n+m=j | ξ_n=i，ξ_n-1=i_n-1，…，ξ₁=i₁}来表达。
而P{ξ_n+m=j | ξ_n=i} 是只知道第n天的状态，要求第n+1天的状态。
对马尔可夫来说，它是具有后无效性的，也就是说从第1天只要我到了第2天，那么第1天到第2天一天里面所有的情况，所有的状态都跟未来没有任何关系，我未来只跟第N天有关。当然我们可以利用这个数学归纳法，当m=1的时候成立，我们可以从m=1来推，如果m=1成立，那m=2也应该成立，所以我们就可以用数学归纳法推导，对于任意的正整数m这个事情都成立。）

马氏链的两个重要类型

1.2.1 正则链

从任一状态出发经有限次转移能以正概率到达另外任一状态。
正则链 ⇔ ∃N，P^N>0
正则链 ⇔ ∃w，a(n)→w(n→∞) w→稳态概率
（1）w满足wP=w
例：

（2）w满足

则w₁+w₂=1
得w=（7/9,2/9）

1.2.2 吸收链

存在吸收状态（一旦到达就不会离开的状态 i ，p_ij=1），且从任一非吸收状态出发经有限次转移能以正概率到达吸收状态。

1.3 定义2：

设{ξ_n，n=1,2,…}是一个马尔可夫链。如果(1)等式右边的条件概率与n无关，即
P{ξ_n+m=j | ξ_n= i }=p_ij(m) （2）
则称{ξ_n，n=1,2,…}为时齐的马尔可夫链。
称p_ij(m)为系统由状态 i 经过m个时间间隔（或m步）转移到状态 j 的转移概率。
（2）式称为时齐性，它的含义是系统由状态 i 经过到状态 j 的转移概率只依赖于时间间隔的长短，与起始的时刻无关。

二、转移概率矩阵

2.1 定义3：

对于一个马尔可夫链{ξ_n，n=1,2,…}，称以m步转移概率p_ij（m）为元素的矩阵P(m)=(p_ij(m))为马尔可夫链的m步转移矩阵。当m=1时，记P(1)=P称为马尔可夫链的一步转移矩阵，或简称转移矩阵。
它们具有下列三个基本性质：
（1）对一切 i ，j ∈E，0<=p_ij(m)<=1
（2）对一切 i ，j∈E，

（概率的基本性质）

（3）对一切 i ，j∈E，

当实际问题可以用马尔可夫链来描述时，首先要确定它的空间状态及参数集合，然后确定它的一步转移概率。
关于这一概率的确定，可以由问题的内在规律得到，也可以由过去经验给出，还可以根据观测数据来估计。

2.2 例子1

设一随机系统的状态空间E={1，2，3，4}，记录观测系统所处状态如下：
43214311232123443311
13321222442323112431

若该系统可用马氏链模型描述，估计转移概率p_ij。
解：首先将不同类型的转移数n_ij统计出来分类记入下表

行和n_j是系统从状态 i 转移到其他状态的次数，n_ij是由状态 i 到状态 j 的转移次数。
p_ij的估计值p_ij=n_ij/n_i。
计算得：

三、转移矩阵的极限分布

3.1 定理1(柯尔莫哥洛夫—开普曼定理)

设{ξ_n，n=1,2,…}是一个马尔可夫链，其状态空间E={1,2,…}，则对任意正整数m，n，有

3.2 定理2

设P是一步马尔可夫链转移矩阵(P的行向量是概率向量)，P⁽⁰⁾是初始分布行向量，
则第n步的概率分布为
P⁽ⁿ⁾=P⁽⁰⁾Pⁿ

3.3 例子2

若顾客的购买是无记忆的，即已知现在顾客购买情况，未来顾客的购买情况不受过去的购买历史的影响，而只与现在购买情况有关。
现在市场上供应A，B，C三个不同厂家生产的50g袋装味精。若已知第一次顾客购买三个厂味精的概率依次为0.2，0.4，0.4。
还已知一般顾客的购买倾向（由表给出）

求顾客第四次购买各家味精的概率？

解：第一次购买的概率分布为
P⁽¹⁾=[0.2,0.4,0.4]
一步状态转移矩阵为：

则顾客第四次购买各家味精的概率为
P⁽⁴⁾=P⁽¹⁾P³=[0.7004,0.136,0.1636]

3.4 定义4

一个马尔可夫链的转移矩阵P是正则的，当且仅当存在正整数k，使P^k的每一元素都是正数。
（所有矩阵经过初等行变换以后都能变成分块矩阵，其中一块是一个 I 矩阵（单位矩阵），其他是0的分块矩阵，这样的分块矩阵叫做正则矩阵，且该矩阵是正方矩阵,且它的逆矩阵也是存在的。）

思考：

当n增大，Pⁿ是否会趋于某一固定矩阵？

当n->+∞时，且转移矩阵P为

则有

若取u=[7/12 , 5/12]，则uP=u
u^T为矩阵P^T的对应于特征值 λ =1的特征（概率）向量
u也称为P的不动点向量。

3.5 定理3

若P是一个马尔可夫链的正则矩阵，则：
（1）P有唯一的不动点向量W，W的每个分量为正。
（2）P的n次幂Pⁿ(n为正整数)随着n的增加趋于矩阵 ̅W ， ̅W 的每一个向量均等于不动点向量W。
一般地，设时齐马尔可夫链的状态空间为E，如果对于所有 i，j∈E，转移概率P_ij(n)存在极限

则称此链具有遍历性。

3.6 定理4

设时齐马尔可夫链{ξ_n，n=1,2,…}的状态空间为E={a₁, … , a_N},P=(p_ij)是它的一步转移概率矩阵，
如果存在正整数m，使对任意的a_i，a_j∈E,都有
p_ij(m)>0,i,j=1,2,…,N
则此链具有遍历性，且有极限分布π=[π₁, … ,π_N]，它是方程组
π=πP
或

j=1，…，N
的满足条件：

的唯一解。

3.7 例子3

根据例子2中给出的一般顾客购买三种味精倾向的转移矩阵，预测经过长期的多次购买之后，顾客的购买倾向如何？
解：这个马尔科夫链的转移矩阵满足定理4的条件，可以求出其极限概率分布。
为此，解下列方程：

求得p₁=5/7，p₂=11/84，p₃=13/84。
这说明。无论第一次顾客购买的情况如何，
经过长期多次购买以后，A厂产的味精占市场的5/7，B，C两厂产品分别占有市场的11/84，13/84。