附件3：Markov模型

Markov模型

1 生灭过程

连续时间Markov链满足以下三个条件

1. 过程中状态仅限于从一个状态向其邻近状态转移
2. 如果t时刻处在状态n，那么在$[t, t+\Delta t)$内转移到$n+1$的概率为$\lambda_n(t) \Delta t+o(\Delta t)$，转移到$n-1$的概率为$\mu_n(t) \Delta t+o(\Delta t)$
3. 如果t时刻处在状态n，那么在$[t,t+\Delta t)$内转移两个以上状态的概率为$o(\Delta t)$

那么连续时间Markov链$\{X(t), t\geq 0\}$称为生灭过程。

生灭过程可以看做系统在进行计数，每次计数增加一个、减少一个，或者不变，对应着出生、死亡和不变，所以描述为只向邻近状态转移。$\lambda_n(t)$则代表转移的概率与状态n和时间t有关。

如果$\mu_n(t)=0$，那么死亡的概率就是0，这个过程就是纯生过程（只有出生），如果$\lambda_n(t)=0$，那么出生的概率就是0，这个过程就是纯灭过程（只有死亡）。

当$\lambda_n(t)$, $\mu_n(t)$与时间无关时，称作齐次生灭过程。

2 随机游动

2.1 一维随机游动

在一条直线上，一个点随机地向左或向右移动一个点。一般可以规定一个点集，例如$\{1,2,3,4,5\}$，点就在这个点集上进行移动，从2移动到3，或者从2移动到1，又或者停留在点2。

如果点集是所有整数，那么点移动的范围就是无穷大的，这个叫做无限制的随机游动。

随机游动满足下列三个概率限制条件

1. $P_{i,i+1}=p$
2. $P_{i,i-1}=1-p=q$
3. $P_{ij}=0\quad j\neq i+1,i-1$

即左右移动概率之和为1，且移动超出一个点的距离的概率为0，质点也不做停留。

（1）无限制随机游动的转移概率
现在考虑计算无限制随机游动的$P_{ij}^{(n)}$，我们通过这个过程中向右移动$m_1$次，向左移动$m_2$次，但最终是从$i$出发到达$j$的过程来计算。那么一定有

$$\begin{cases} m_1+m_2=n\\ m_1-m_2=j-i \end{cases}$$

即所有移动次数是转移的次数，向右移动次数减去向左移动次数应该是终点与起点的距离，结合两个方程得到

$$m_1 = \frac{n+j-i}{2}\quad m_2=\frac{n-j+i}{2}$$

首先，如果$n+j-i$是奇数，那么$P_{ij}^{(n)}=0$，因为移动次数不能是非整数，当$n+j-i$是偶数的时候，考虑多种移动组合，我们$n$次移动中选$m_1$次右移，即

$$P_{ij}^{(n)} = \mathrm{C}_n^{\frac{n+j-i}{2}}p^{\frac{n+j-i}{2}}q^{\frac{n-j+i}{2}}$$

那么综合一下就是

$$P_{ij}^{(n)}= \begin{cases} \mathrm{C}_n^{\frac{n+j-i}{2}}p^{\frac{n+j-i}{2}}q^{\frac{n-j+i}{2}} \quad n+j-i是偶数 \\ 0\quad n+j-i是奇数 \end{cases}$$

（2）带有一个吸收壁的随机游动
我们假设状态0是一个吸收壁，那么概率应该满足

1. $P_{i,i+1}=p\quad i\geq 1$
2. $P_{i,i-1}=q\quad i\geq 1$
3. $P_{ij}=0\quad i\geq 1, j\neq i+1,i-1$
4. $P_{00}=1$

(3) 带有两个吸收壁的随机游动
假设状态0和状态a都是吸收壁，那么概率满足

1. $P_{i,i+1}=p\quad 1\leq i\leq a-1$
2. $P_{i,i-1}=1-p=q\quad 1\leq i\leq a-1$
3. $P_{ij}=0\quad 1\leq i\leq a-1, j\neq i+1,i-1$
4. $P_{00}=P_{aa}=1$

2.2 随机游动的常返性

一维随机游动。 当移动转移的概率$P=\frac{1}{2}$时是常返的，此时叫做平衡随机游动。当$P\neq \frac{1}{2}$时是非常返的。
二维随机游动。仍然考虑平衡随机游动，当$P=\frac{1}{4}$时是常返的，但到达三维时，就算是平衡随机游动，也不是常返的。