05：连续时间Markov链

连续时间Markov链

1 连续时间Markov链的定义

在之前研究的Markov链中，状态和时间均是离散的，我们研究某个时刻到下一个时刻所处的状态，转移是一步一步进行，可列离散。

现在，考虑时间变成连续，Markov链在一个连续的时间上进行状态转移，此时时间不可列。

现给出数学定义：设$X=\{X(t), t\geq 0\}$是取值于状态空间S的随机过程，S可以是连续或离散的。如果其满足Markov性，即

$$\begin{aligned} P\{X(t_{n+1})&=i_{n+1}|X(t_1)=i_1,X(t_2)=i_2,\dots,X(t_n)=i_n \}\\ &=P\{X(t_{n+1})=i_{n+1}|X(t_n)=i_n\} \end{aligned}$$

注意此处时刻的下标是在连续时间上的某个时刻取值，并非离散时间点。这个过程就称作参数连续状态离散的Markov过程。又叫做连续时间Markov链

2 典型例子：独立增量计数过程

现在考虑一个随机过程，其在一段时间$[0,t)$内对一个随机事件A发生的次数进行计数，记为$\{N(t),t\geq 0\}$

这是一个参数连续但状态离散的Markov链，计数过程在一段时间上运行，Markov链的状态就是次数。计数事件A发生的次数是可数的，其只能取自然数。

计数过程满足以下性质

1. $N(t)>0$，这点显然，次数不能小于0
2. $N(t)\in N_0$，计数次数应该在自然数中取值
3. $\forall s,t>0$, $s<t$，有$N(s)\leq N(t)$，即计数过程是不减的。
4. $\forall s,t>0$, $s<t$, $N(t)-N(s)$就是在时间段$[s,t)$内事件A出现的次数。

如果现在任取n个时间点$t_1<t_2<\cdots<t_n$，随机过程$\xi(t)$的任意两个时间点的增量$\xi(t_2)-\xi(t_1)$, $\xi(t_3)-\xi(t_2)$, $\dots$, $\xi(t_n)-\xi(t_{n-1})$是相互独立的随机变量，则称此类过程为独立增量过程。

3 转移概率

同离散Markov链一样，连续时间Markov链也有转移概率，记$t_1$时刻到$t_2$时刻，由状态$i$转移到状态$j$的概率

$$P_{ij}(t_1,t_2)=P[X(t_2)=j|X(t_1)=i]$$

为转移概率，显然有$P_{ij}(t_1,t_2)\geq 0$, $\sum\limits_{j\in S}P_{ij}(t_1,t_2)=1$

如果转移概率$P_{ij}(t_1,t_2)$与只与时间间隔$t=t_2-t_1$有关，即

$$P_{ij}(t_1,t_2)=P_{ij}(t)$$

那么Markov链称为齐次的Markov链

4 C-K方程

同离散Markov链类似，C-K方程引入一个中间状态，并对所有可能的中间状态进行求和。现考虑Markov链从$i$转移到$j$，沿路径$i\rightarrow k\rightarrow j$,则有

$$\begin{aligned} &P[X(t_3)=j|X(t_1)=i]= \\ &\sum_{k\in S}P[X(t_3)=j|X(t_2)=k]P[X(t_2)=k|X(t_1)=i] \end{aligned}$$

如果是齐次Markov链，假设$\tau = t_3-t_2$, $t=t_2-t_1$, 有

$$P_{ij}(t+\tau)=\sum_{k\in S}P_{ik}(t)P_{kj}(\tau)$$

即先花时间$t$从$i$转移到$k$，再花时间$\tau$从$k$转移到$j$。

现在，我们再规定一个特殊的初始条件，称作连续性条件，即满足

$$\lim\limits_{t\rightarrow 0}P_{ij}(t) = \delta_{ij}= \begin{cases} 1\quad i=j \\ 0\quad i\neq j \end{cases}$$

即时间趋于0(初始的时候)，发生状态转移的概率(从状态$i$转移到一个跟$i$不同的状态$j$)也趋于0。满足连续性条件的Markov过程称为随机连续的Markov过程

5 无穷小转移率

在离散Markov链中，我们以一步转移概率作为基础来进行研究，在连续时间中，我们就尝试用无限小的时间间隔的转移概率来作为后续研究的基础。

当间隔时间很小的时候，我们以$\Delta t$表示，我们用Taylor展开逼近转移概率

$$P_{ij}(\Delta t)=P_{ij}(0)+q_{ij}\Delta t+o(\Delta t)$$

现在我们使用连续性条件，那么

$$P_{ij}(\Delta t)=\delta_{ij}+q_{ij}\Delta t+o(\Delta t)$$

我们定义导数

$$q_{ij} = \lim\limits_{\Delta t\rightarrow 0}\frac{P_{ij}(\Delta t)-\delta_{ij}}{\Delta t}$$

为无穷小转移率或者跳跃强度

如果Markov链的状态有限，那么我们可以将所有的无穷小转移率放入一个矩阵，这个矩阵类似于一步转移矩阵，但在这里称作Q矩阵

$$Q= \begin{bmatrix} q_{00} & q_{01} & \cdots \\ q_{10} & q_{11} & \cdots \\ \vdots & \vdots & \end{bmatrix}$$

也叫做无穷小转移率矩阵

注意到在我们定义的$q_{ij}$中，如果$i\neq j$，有$\delta_{ij}=0$，从而

$$q_{ij}=\lim\limits_{\Delta t\rightarrow 0}\frac{P_{ij}(\Delta t)}{\Delta t}$$

概率$P_{ij}$一定大于0，时间间隔也一定大于0，所以此时的$q_{ij}\geq 0$。

当$i= j$，有$\delta_{ij}=1$，从而

$$q_{ii}=\lim\limits_{\Delta t\rightarrow 0}\frac{P_{ii}(\Delta t)-1}{\Delta t}$$

注意到概率$P_{ii}$一定是小于等于1的, 那么概率$q_{ii}\leq 0$

从而发现，Q矩阵对角线元素小于等于0，其他元素大于等于0.

同时，Q矩阵的每一行和为0，即$\sum\limits_{j\in S}q_{ij}=0$, 证明如下。

$$\sum_{j\in S}q_{ij}$$

可以拆为$q_{ii}+\sum\limits_{j\in S, j\neq i}q_{ij}$，由他们的计算方法

$$q_{ii}=\lim\limits_{\Delta t\rightarrow 0}\frac{P_{ii}(\Delta t)-1}{\Delta t}\quad q_{ij}=\lim\limits_{\Delta t\rightarrow 0}\frac{P_{ij}(\Delta t)}{\Delta t}$$

得到

$$\begin{aligned} q_{ii}+\sum\limits_{j\in S, j\neq i}q_{ij}&=\lim\limits_{\Delta t\rightarrow 0}\frac{P_{ii}(\Delta t)-1}{\Delta t}+\sum_{j\in S,j\neq i}\lim\limits_{\Delta t\rightarrow 0}\frac{P_{ij}(\Delta t)}{\Delta t} \\ &=\lim\limits_{\Delta\rightarrow 0}\frac{\sum\limits_{j\in S}P_{ij}(\Delta t)-1}{\Delta t} \end{aligned}$$

注意到$\sum\limits_{j\in S}P_{ij}(\Delta t)=1$

那么上述极限就是0. Q.E.D.

6 K-F前进方程

对于转移概率$P_{ij}(t)$，我们取一个中间状态$k$，有

$$\frac{\mathrm{d}P_{ij}(t)}{\mathrm{d}t} = \sum_{k\in S}P_{ik}(t)q_{kj}$$

这就是K-F前进方程

这里再加上连续初始条件，即

$$\begin{cases} P_{ij}(0)=0\quad i\neq j\\ P_{ii}(0)=1 \end{cases}$$

可以解上述微分方程组。

同样将求和展开并写成向量相乘的形式，最后写出所有的$P_{ij}(t)$成为一个矩阵，可以得到上述方程的矩阵形式

$$\frac{\mathrm{d}P(t)}{\mathrm{d}t}=P(t)Q$$

同时连续性初始条件变为

$$P(0) = I$$

如果已知Q矩阵，K-F前进方程可用来求任意的转移概率。

7 F-P方程

设任意时刻$t$，处在某个状态$j$的概率是$P_j(t)=P\{X(t)=j\}$.

那么过程的绝对分布可以表示成所有状态组成的一个向量

$$\vec P(t) = [P_0(t),P_1(t),\dots,P_n(t)]$$

初始分布为

$$\vec P(0) = [P_0(0),P_1(0),\dots,P_n(0)]$$

则F-P方程告诉我们

$$\frac{\mathrm{d}\vec P(t)}{\mathrm{d}t} = \vec P(t)Q$$

结合初始分布，若已知Q矩阵，可以解上述微分方程，求得任意时刻的绝对分布。