马尔科夫链是一种描述系统状态随时间变化的随机过程，其核心特性是“马尔科夫性”，即未来状态仅取决于当前状态，与过去状态无关。本文梳理了离散和连续时间马尔科夫链的定义、历史发展、基本概念与性质，包括转移概率、时齐性、周期性、平稳分布、时间可逆性等。文章还介绍了马尔科夫链的粗粒化方法（如成块性、SVD粗粒化）和度量（如有效信息、动力学可逆性），并探讨了其在流网络、高尔顿钉板、骰子游戏、排队问题、基因调控网络等领域的应用。本文旨在为理解复杂性科学和相关应用奠定基础。

🔹 **马尔科夫链的核心是马尔科夫性**：即系统在给定当前状态下，未来状态的转移概率仅取决于当前状态，而与之前的状态序列无关。这使得马尔科夫链成为描述具有“记忆消失”特性的系统的强大工具。文章详细介绍了离散时间马尔科夫链（DTMC）和连续时间马尔科夫链（CTMC），并区分了它们的定义和应用场景。

🔹 **转移概率与状态分类是理解马尔科夫链的关键**：离散时间马尔科夫链通过一步转移概率矩阵描述状态间的跳转，而连续时间马尔科夫链则通过转移速率矩阵来刻画。文章深入阐述了可达、互通、可约性以及周期性等状态分类概念，这些概念对于分析马尔科夫链的长期行为和收敛性至关重要，例如，互通的状态具有相同的周期性，从而简化了分析。

🔹 **平稳分布与时间可逆性揭示系统的长期行为**：平稳分布是指在系统达到稳定状态后，各状态的概率分布不再随时间变化。文章详细介绍了如何通过转移概率矩阵或转移速率矩阵求解平稳分布，并探讨了时间可逆性（细致平衡条件）的概念，指出满足细致平衡条件的马尔科夫链其平稳分布也是可逆的，这为分析系统的对称性和可逆性提供了重要视角。

🔹 **粗粒化与度量为复杂系统提供简化分析途径**：对于状态空间庞大或动力学行为复杂的系统，粗粒化技术（如成块性、SVD粗粒化）可以将系统简化为更少状态的等效模型，同时保留关键的统计和动力学特征。文章还介绍了有效信息和动力学可逆性等度量方法，用于量化信息传递和系统因果关系，为理解因果涌现等复杂现象提供了理论工具。

原创 集智百科团队 2025-08-11 18:47 云南

一种过去无关的系统演化、建模与预测工具。

1. 历史发展

1906年，俄罗斯数学家Andrey Andreyevich Markov在研究大数定律时，首次定义了离散随机序列在给定现在的条件下，过去与未来的条件独立性 [3]。这个性质后来被称为马尔科夫性，满足这个性质的离散随机过程被称为马尔科夫链。随后，Andrey Markov基于普希金的长诗《叶甫盖尼・奥涅金》研究了俄语字母序列上的马尔科夫链及其极限分布[4]。1931年，David George Kendall等人推广为连续时间马尔科夫链并建立了相应理论，其中包括著名的Kolmogorov方程[5]。1953年，Nicholas Metropolis通过引入马尔科夫链发展出了著名的马尔科夫链蒙特卡洛随机模拟算法[6]。

进一步，马尔科夫链被发展为更复杂的模型。1966年，Leonard Esau Baum和Ted Petrie提出了状态隐藏的双重马尔科夫过程——隐马尔科夫模型 [7]。 1980 年，Kindermann Richard和John Leslie Snell在专著中详细介绍了针对多维、无向的马尔科夫随机场 [8]。

2. 离散（或连续）时间马尔科夫链的定义

2.1 例子

2.1.1 流网络

假设一个流网络模型，如图所示，其中节点代表不同的管道交汇处，连边代表不同的流管道，连边上的权重代表流量，方向代表水流的方向。

考虑一个粒子在此流网络中流动，在每一个节点处，它会以一定的概率顺不同的连边流向下一个节点。如果我们将粒子可能处于不同的节点看作是该粒子的不同状态，即定义状态空间S={1,2,⋯,5}，同时假定每一时刻粒子必然处于某一个节点，且不会在连边处停留，则我们可以用从任意节点i出发，到任意另外的节点j的跳转概率描述该粒子的行为，其中fij为连边i到j上面的流量。显然，这个跳转概率与粒子在<t的时间步位于哪一个节点无关，因此这一过程满足马尔科夫性，该过程定义了一个马尔科夫链。

2.1.2 高尔顿钉板

高尔顿钉板是英国科学家高尔顿（Francis Galton）发明的一种物理装置。如下图（左）所示，这个有趣的装置由一大堆钉子按照三角形形状规则排列而形成的一个钉板。钉板的上侧有一个开口，你可以从这个开口投放小钢球进来，下面则是由若干个柱状的凹槽构成，每个凹槽可以把钢球接住，并盛放起来。实验的时候，你可以从上面的开口投放小球，小球就会下落，从而碰撞到一些钉子，然后坠入底部的凹槽之内。由于小球每碰撞一次钉子，就可能从该钉子的左侧下落，或从右侧下落，进而再碰撞另一个钉子，如此循环。于是，最终落到槽中的小球就可能堆积出一个小球的分布，这个分布会形成一种中间凸起，两边凹陷的钟形曲线。这个装置是由英国科学家高尔顿发明的，用以说明概率论中的中心极限定理，因而人们就叫它“高尔顿钉板”。

小球的坠落过程实际上可以被看作是一个马尔科夫链。为了方便起见，我们仅仅考虑由6颗钉子，4个底部凹槽构成的高尔顿钉板来作为示例（如上图右所示）。其中每一个节点对应了一颗钉子，也对应了小球在某一时刻的取值状态。一个小球在不同的钉子之间跳跃就可以由右图所示的状态转移图表示，其中连边上的数值代表从上一个节点跳转到下一个节点的概率。7~10号节点对应底部的4个凹槽。一旦进入这4个节点中的任意一个，小球就不动了，因此小球就停留在当前这个节点。在下落过程中，小球在每一层的位置只依赖于它在上一层的下落位置，因此，这也是一个马尔科夫过程。

2.1.3 Yahtzee的骰子游戏

接下来的这个例子来源于一个经典的骰子游戏——Yahtzee游戏。在游戏中共有5个六面均匀的骰子，游戏参与者至多有三次投掷骰子的机会，一次可以同时投掷5颗骰子。为了简化，我们在此处假设游戏的目标是使得所有骰子的结果相同（称为获得Yahtzee）。同时，游戏中有一个规则是如果游戏者在前两次的投掷后，出现了重复的数字，则可以仅针对剩下的与重复数字不同的骰子再进行一次投掷。

例如，第一次投掷结果为11234，由于有两个1，所以你可以保持对应的两个骰子不动，接下来，你只需要重新投掷234对应的三个骰子就可以。[9]

在这个随机过程中，我们可以用变量Xt来建模如下变量：第t次投掷中，结果相同的骰子数量，这样，该游戏的状态空间为S={0,1,⋯,5}。在第t+1步中，系统的状态Xt+1显然只依赖于t步的状态集合Xt，而与更早的状态无关，因此这也是一个马尔科夫过程。

2.2 定义

上面的几个例子都是时间和状态空间均为离散的数字，且系统都满足马尔科夫性质，也就是t+1时间步的状态只依赖于第t步的系统状态，则称这类随机过程为离散时间的马尔科夫链（简称马尔科夫链，Markov chain），严格的数学定义如下：

定义（马尔科夫链）：称状态空间S={1,2,…}上的随机过程{Xn, n=0,1,2,…}是马尔科夫链或具有马尔科夫性质，若满足：，其中，Xn=j∈S表示过程在时刻n处于状态j，称为马尔科夫链的一步转移概率，并引入记号。

上述定义中，我们对时间步有非常明确的要求，即只能取一系列连续的整数。然而，在现实世界中，时间步实际上是取值为连续的实数的，它很难转化成一系列连续的整数。在这样的连续的时间域上，我们同样可以定义连续时间马尔科夫随机过程。

具体地：

定义（连续时间马尔科夫链）：称状态空间S={1,2,…}上的随机过程{Xt, t≥0}是连续时间马尔科夫链，若满足

日常生活中的许多现象都可以利用马尔科夫链来描述，例如天气的变化。简单考虑两种天气状态，下雨和不下雨。那么，对应的马尔科夫假设就是明天是否下雨只取决于今天的天气，而与之前的天气无关。

3. 离散时间马尔科夫链

3.1 基本概念和性质

上述定义中强调了一步转移概率对于历史的遗忘性，也就是当前状态只与上一时刻的状态有关，而与更早以前的状态无关。那么，我们如何利用这一性质计算任意步转移概率呢？如果对于多步转移概率，历史遗忘性也被满足，那么我们可以通过将路径进行分解来计算任意步的转移概率。

3.1.1 多步转移概率的遗忘性

考虑离散时间马尔科夫链，如果对任意的n≥0和m≥1，有

即当Xn给定后，Xn+m和Xn−1,…,X0条件独立。则我们称这一马尔科夫链具有多步转移的遗忘性。

注：事实上，你可以对m进行数学归纳法证明，从而利用马尔科夫随机过程的定义（离散或连续时间都可以），从而证明上述性质。

3.1.2 多步转移概率的计算——Chapman-Kolmogorov方程

由于上述性质，即给定现在，系统的过去与未来都是相互独立的，因此遗忘性对于多步转移概率也是成立的。那么，对于任意步转移概率的计算，我们就可以根据这个性质进行分解计算。

具体来说，对于n≥2步转移概率，我们可以先给定某一中间时刻0<m<n的状态k，此时由条件独立性，从i先经m步至k，再经n−m步至j的概率就可以被分解为两个转移概率的乘积。接下来，我们只需要遍历状态k的所有可能，即可以得到如下表达式：

这个式子被称为Chapman-Kolmogorov方程。上述计算过程可以绘制为示意图：

3.1.3 时齐性与非时齐性

由式1可知，多步转移概率其实是一步转移概率的乘积与求和。那么，我们自然地会想到，在计算乘积的过程中，一步转移概率是否会随时间变化？

3.1.3.1 时齐性例子：高尔顿钉板

回顾前面的三层高尔顿钉板的实验例子，如果我们将钉子按照它所属层的顺序依次编号为1-6，凹槽从左至右编号为7-10，那么小球下落过程构成了一个状态空间S={1,2,…,10}的马尔科夫链，其转移行为如下图所描述：

其中，任意一条连边上的数值代表从连边的起点状态作为条件，到连边终点状态的条件转移概率。

很显然，这是一个与时间无关的概率转移矩阵的例子，这种情况也叫时齐的马尔科夫链。

3.1.3.2 非时齐性例子：波利亚坛子模型

然而，在另一个经典概率模型——波利亚坛子模型（Polya's urn scheme)中，一步转移概率就与时间有关。

模型假设坛子中装有b>0个黑球和w>0个白球。每次随机地从坛子中有放回地抽出一个球，并且再放入一个同颜色的球。记Xn为第n次抽取后坛子中黑球的个数，则一步转移概率

显然，上述概率是随着n的变化而变化的。

定义

一般的，当一步转移概率只与状态i,j有关，而与时刻n无关（平稳性假设），称此马尔科夫链为时齐马尔科夫链（homogeneous）；若与状态i,j和时刻n均有关，则称此马尔科夫链为非时齐的。

下面本词条的讨论主要围绕着离散时间时齐马尔科夫链而展开，这是最常见的一种场景。

3.2 时齐马尔科夫链的转移过程——初始状态确定

3.2.1 多步转移概率的计算与一步转移概率矩阵

由时齐性假设，记一步转移概率。

此时，转移过程如下

对应的Chapman-kolmogorov方程的具体表达式如下，

不难看出，上述方程与起始时刻无关，仅与时间间隔有关，即如果将时间窗任意平移l个时刻，有

所以，一般的，记n−m步转移概率 Pij(m,n)=Pij(n−m)。

观察上述方程容易发现，求和项是对处在中间的下角标进行遍历，这恰恰对应着矩阵乘法。 将上述例子中一步转移概率pij(i,j∈S)排列为一个矩阵

那么，Chapman-Kolmogorov方程变形为，

P(n)=P×P(n−1)=…=Pn,

其中，P(n)称为n步转移概率矩阵，P称为一步转移概率矩阵（transition probability matrix, TPM），下面简称为转移概率矩阵。

通过观察可知，矩阵P满足如下性质

一般的，称满足上述性质的矩阵为随机矩阵（stochastic matrix）。

3.2.2 基于转移行为的状态分类

3.2.2.1 可达、互通与可约性

下面举一个简单的例子具体观察状态间的转移行为，下图中(a)和(b)分别为马尔科夫链的转移概率矩阵和图表示。

例1. 

由Chapman-Kolmogorov方程，可得100步转移概率矩阵和200步转移概率矩阵为

通过观察马尔科夫链的图表示可以发现，状态1和状态2之间存在互相到达的路径，但状态3与状态1和状态2之间均不能互相到达。此外，容易看出，随着转移步数的增加，对应的转移概率矩阵的第一列和第二列均趋近0，即状态1和状态2的转移行为逐渐一致，但与状态3的转移行为存在明显差异。那么，可以利用这种互相可达的特性来将相同转移行为的状态划分为一类，状态1和状态2是互通的，可被归为一类，而状态3只可达自身，所以状态3为另一个类。下面给出可达和互通的严格定义。

首先，需要明确可达的定义。图中的路径的权重是大于0的概率值，所以定义如下：

定义（可达关系）： ∃n≥0,  Pij(n)>0，则称状态i可达状态j，记为i→j。

易知，可达是传递关系，即 i→j, j→k⟹i→k。

定义（互通关系）： 进一步，若i→j且j→i，则称状态i和j互通，记为i↔j。

易知，互通是一种等价关系。那么，可以将互通的状态归为一类，且任一状态仅属于一个类。

定义（不可约）：特别的，若马尔科夫链中只存在一个互通等价类，则称它是不可约的（irreducible）；否则，称为是可约的（reducible）。

若对例1中的状态3的转移分布稍作修改，

那么，3个状态间彼此互通，即均属于同一个类，则其对应的马尔科夫链是不可约的。

3.2.2.2 周期性

例2. 下面考察一个简单的两状态马尔科夫链，其转移概率矩阵。

计算n步转移概率矩阵，得

不难发现这个马尔科夫链的状态转移存在着周期性——初始状态不论是状态1还是状态2，每转移2步，都能够以正概率返回自身状态，即周期为2。进一步，如果有任一状态能够以一定周期、正概率返回自身，转移矩阵则不存在极限，即状态的周期性成为了一个转移矩阵收敛的判断条件。下面介绍状态的周期性的严格定义：

定义（周期）：记使得转移概率Pii(n)>0的转移步数n所组成的集合为Ai={n:n≥1,Pii(n)>0}。若Ai非空，则称其最大公约数为状态i的周期，记为di。若di>1，称i是周期的；若di=1，称i是非周期的。

根据n步转移概率矩阵可知，Pii(n)序列为0,1,0,1,…，Pij(n)序列为1,0,1,0…，四个转移概率均不存在极限，即转移矩阵没有极限。由此可见，周期性对于转移矩阵是否具有极限的判断起着重要的作用。

回顾上节例1中的三状态马尔科夫链，由于P33=1>P22=0.2>0，那么A2=A3={1,2,…}，所以它们都是非周期的。对于状态1，其与状态2互通且状态2一步可达自身，那么A1={2,3,…}，所以状态1也是非周期的。可以看出，互通的状态1和状态2的周期性是相同的。实际上，可以通过严格证明得出，互通状态的周期是相同的，即周期性也是一个状态等价类的性质。那么，互通的状态只需要判断其中任一状态的周期性即可，这大大减少了判断的次数。

上述分类方法是基于局部性质进行两两判断分类。此外，还可以从整体转移机制的角度对状态进行划分，详细介绍参见成块性（Lumpability）。

3.2 时齐马尔科夫链的演化——初始状态随机

3.2.1 演化过程

上节中关于转移过程的内容，实际上是固定了初始时刻的状态。一般的，初始时刻的状态也存在着一定的随机性，即可以使用一个分布列来刻画。

记Xn(n≥0)的分布列 πn=(πn(1),πn(2),…)， 其中，。

根据全概率公式，Xn+1的分布列

进一步，递推可得，

注：π是一个行向量，上述方程为左手方程（left hand equation）。

例1中的马尔科夫链如果在0时刻三个状态等概率地出现，那么在1时刻和2时刻的状态分布分别为

若将左手方程的左右两边同时进行转置，得

这是一个一阶线性齐次差分方程。由递推关系，自然地会联想到，马尔科夫链的长期行为本质上是一个特征值问题。

3.2.2 平稳分布与转移概率矩阵的谱

下面，我们来考察一下P的特征值和特征向量分别代表什么含义。让我们回顾之前例1和例2中的转移矩阵

它们的特征值分别为−0.7544,0.9544,1以及−1,1。

通过观察不难发现两个共同的性质：

1都是两个转移矩阵的特征值；

特征值的模长均不超过1。

这两条性质对于一般的随机矩阵仍是成立的。

下面，我们简要分析特征值1以及对应的特征向量。

由于P的行和为1，那么，P1=1，即1是P的特征值，且对应的特征向量为1。

另一方面，由于

所以，1也是PT的特征值。

注：即方程π=πP总有非零解，这与马尔科夫链是否有极限没有关系。

若π0是方程π=πP的解，那么由递推关系，有

πn=π0Pn=π0。即若，有：

，即如果初始时刻系统状态服从该分布，那么任意时刻下系统状态分布保持不变。

定义(平稳分布)：我们称π0为平稳分布，如果π0是方程π=πP的解。

考虑概率转移矩阵。易知，其存在平稳分布。

如果一个马尔科夫链存在平稳分布π且X0∼π，那么易得随机过程{Xn}是严平稳的（任何有限维分布函数与时间起点无关）。

3.4 时间可逆的马尔科夫链

前面的讨论都沿着时间正向在讨论，下面考虑时间反向的过程。

即反向过程仍满足马尔科夫性质。这其实是马尔科夫性质的等价定义——给定现在的条件下，过去与未来条件独立。并且，一般来讲，上述一步转移概率是与时间n有关的，即反向过程是非齐次的。

下面考察有限状态空间上不可约、非周期的马尔科夫链，其唯一的平稳分布为π。若从平稳分布π出发，有

此时，反向过程是齐次的。

3.4.1 时间可逆性的定义(细致平衡条件)及可逆分布

进一步，考虑一种特殊情形，

定义（时间可逆马尔科夫链）：若qij=pij，即对于任意的状态i,j，若存在S上的概率分布π满足

此时，称马尔科夫链满足细致平衡条件，也称该马尔科夫链是时间可逆的，称概率分布π为P的一个可逆分布。

注：πipij可以理解为状态i向状态j的输送，同理，πjpji可以理解为状态j向状态i的输送。细致平衡条件可以理解为任意的状态i与状态j之间的相互输送是相同的。

3.4.2 可逆分布与平稳分布

进一步，由细致平衡条件，则可逆分布是平稳分布，即

证：

这一性质为求解平稳分布提供了一种新的方法。例如，考虑如下可逆的马尔科夫链，其概率转移矩阵为：

利用细致平衡条件，可以得到关于π的方程：

进一步，由求和为1，得可逆分布（也是平稳分布）π：

但上述结论反之则不然，考虑如下概率转移矩阵

易知，其存在平稳分布，但

即该链不是可逆的。

3.4.3 时间可逆性与动力学可逆性

时间可逆性描述的是状态概率分布上的时间反演对称性，即如果把时间点以达到平稳分布的时间为对称轴，进行反转，则可以得到一系列和原马尔科夫链正向时间演化过程完全相同的状态概率分布。

与时间可逆性不同，动力学可逆性则描述的是状态上的可逆性。如果一个平稳马尔科夫过程的概率转移矩阵是可逆的，则该过程的状态演化就完全是时间可逆的。进一步，近似动力学可逆性可以作为一种因果度量，详细内容参见后面有关转移概率矩阵的动力学可逆性的讨论，也可参考词条基于可逆性的因果涌现理论｜集智百科。

3.5 离散时间马尔科夫链的粗粒化和度量

3.5.1 离散时间马尔科夫链的粗粒化

一般的，在状态分类的基础上，对分类后状态空间（宏观尺度上）重新定义马尔科夫转移矩阵的过程被称为马尔科夫概率转移矩阵的粗粒化（coarse-graining），详细介绍参见词条马尔科夫链的粗粒化。下面，简要介绍两种粗粒化方法——成块性和基于SVD分解的粗粒化方法。

3.5.1.1 马尔科夫链的成块性

可约是基于局部连通性进行两两判断从而对状态空间进行分类，但有时这个划分粒度仍很粗糙，即连通的状态间存在其他性质或结构可以继续划分。

例如，考虑如下马尔科夫链，

易知，这个马尔科夫链是不可约的。此外，无论从状态1还是2出发，下一时刻转移至状态1或状态2的概率均为0.6，转移至其他两个状态3和4的概率均为0.4。另一方面，状态3和状态4也是如此。那么，基于这样的转移机制，可以将状态1和2划分为1组，状态3和状态4划分为一组，形成两个宏观状态，得到一个新的两状态的马尔科夫转移矩阵

即同属于一个宏观状态的原始微观状态转移至宏观状态的机制是相同的，这种性质被称为成块性（Lumpability）。定义A={Ai}为宏观态，成块性的数学表达式为：

详细介绍参见词条马尔科夫链的成块性。

3.5.1.2 马尔科夫链的SVD粗粒化

从转移矩阵谱的角度出发，张江团队提出了基于奇异值分解（SVD）的粗粒化方法[10]。

第一步，对状态空间进行划分。首先，考虑N阶转移矩阵P的截断奇异值分解 UΣr×rVT， 其中，r为粗粒化后的状态个数。之后，利用矩阵V对转移矩阵P做投影操作，得。接下来，利用Kmeans等聚类算法将的行向量聚为r类，得到指示矩阵Φ，其元素表示如下

其中，a(i)∈{1,2,…,r}为的第i行行向量所属类别。

第二步，定义新的转移概率矩阵。假设有限维转移矩阵P对应的马尔科夫链是不可约且非周期的，则存在唯一平稳分布π。考虑达到平稳后的两步联合概率

称其组成的矩阵F为平稳流矩阵。接下来，基于平稳流矩阵和指示矩阵，定义简化平稳流矩阵

为了满足行和为1的约束，对矩阵F′进行行归一化，得到粗粒化后转移矩阵P′，其元素为

详细介绍参见词条基于可逆性的因果涌现理论。

3.5.2 离散时间马尔科夫链的度量

3.5.2.1 转移概率矩阵的有效信息

马尔科夫链可以视为是通信领域中一种特殊的信道——离散无记忆信道。信道的输入和输出分别记为X和Y，当前输入X给定的条件下，对应的输出Y与之前的输入和输出独立。

为了描述信道能够传输的最大信息量，信息论领域提出了信道容量的概念，具体定义为

其中，πX为X的取值分布。

基于上述信道容量的概念，Erik Hoel[11]提出了离散马尔科夫动力学的有效信息度量

其中，UX为均匀分布，和为X干预为均匀分布后Y和X对应的状态。

通过粗粒化操作，可以得到宏观尺度下的转移矩阵PM，并计算有效信息EI(PM)。进一步，可以通过宏观与微观尺度下的动力学有效信息差值来度量马尔科夫动力学的因果效应，并称这个差值

为有效信息增益。如果存在某个宏观尺度，使得有效信息增益大于0，则认为该系统发生了因果涌现。详细内容参见词条有效信息。

3.5.2.2 转移概率矩阵的动力学可逆性

易知，当且仅当P为置换矩阵，有效信息的值最大。并且，置换矩阵的逆矩阵也是一个置换矩阵，同时也是一个转移概率矩阵，即P是可逆矩阵且P−1也是一个转移概率矩阵，则称这类转移概率矩阵是严格动力学可逆的。但是，只有置换矩阵满足严格动力学可逆。所以，需要定义一个可以度量接近动力学可逆程度的指标。

通过观察可以发现置换矩阵具有两方面特性：一方面，它是满秩矩阵；另一方面，它每行或列均为独热向量，具有稀疏性。这两方面都可以通过转移概率矩阵P的奇异值进行度量。考虑一个N阶转移概率矩阵P，设其奇异值为σ1≥σ2≥…≥σN≥0，则P的秩有如下表示

并且P的稀疏性可以通过矩阵的Frobenius范数度量，

基于上述特性，张江团队定义转移概率矩阵P的α∈(0,2)阶近似动力学可逆性

作为动力学可逆性的近似[10]。在应用中，常采用Γα=1即转移概率矩阵的核范数来度量接近动力学可逆的程度。

基于Γα，文中还给出了清晰因果涌现和模糊因果涌现程度的计算方法。值得注意的是，它们均与粗粒化方法无关。详细内容参见词条基于可逆性的因果涌现理论。

4. 连续时间马尔科夫链

我们先以一个简单的例子说明为何要引入连续时间马尔科夫链(Continuous-Time Markov Chain，CTMC)。假设我们观察一个灯泡的运行状态，其状态空间只有两种：正常（工作）和故障（损坏）。初始时灯泡正常工作，而从正常到故障的转移时间服从指数分布，故障率为λ。如果我们试图用离散时间马尔科夫链（Discrete-Time Markov Chain，DTMC）来描述这一过程，就会遇到明显的局限性。

在DTMC中，状态转移只能发生在固定的时间步长上（如每小时、每天等），而灯泡的故障却可能在任意连续时间点发生。如果我们强行采用离散时间建模，就必须人为设定一个时间间隔Δt，并假设灯泡在每个Δt内以概率p=1−e−λΔt（详见转移概率矩阵与转移速率矩阵关系一节）发生故障。然而，这样的近似不仅依赖于Δt的选择，还忽略了故障的真实随机性——灯泡的寿命不受固定时间步长的约束，故障可能发生在任何时刻。

相比之下，CTMC更准确地刻画这一过程。灯泡的故障被建模为瞬时转移，其转移速率矩阵Q（详见转移速率矩阵一节）直接由故障率λ决定：

其中，第一个状态为工作，第二个状态为故障。矩阵中的第一行第二列的数字λ代表的是任意瞬时灯泡由正常变为故障的概率，而第一行第一列的数字−λ是为了与改行另一个数字的加和为0而存在的。它可近似代表灯泡状态不发生转移的速率。第二行全部为0，这表示该状态为吸收态。因此，整个过程的定义无需人为划分时间步长，自然反映了状态的连续时间随机转移。这个例子说明，当系统状态变化发生在任意时间点且转移时间服从指数分布时，DTMC会因离散化而失真，而CTMC才是更本质的建模工具。灯泡故障的连续时间特性，正是引入CTMC的必要性所在。

回顾一下之前的定义，我们设S是状态空间，{X(t)}={X(t)|t≥0}是以S为状态空间的连续时间随机过程。

定义（连续时间马尔科夫链）：如果对于任意正整数n,t0<t1<⋯<tn+1和i,j,i0,i1,…,in−1∈S，有

则称{X(t)}是连续时间离散状态的马尔科夫链，简称为连续时间马尔科夫链（CTMC）。其中的“链”指状态空间S是离散的。

4.1 基本概念

4.1.1 与离散时间马尔科夫链对应的基本概念

与离散情形中一样，CTMC对于任意时间间隔都具有历史遗忘性。即对于t>0，已知X(t)=i的条件下，将来随机过程{X(u)|u>t}与过去随机过程{X(v)|0≤v<t}独立。

和离散时间马尔科夫链相同，我们定义满足：，s,t≥0 的CTMC具有时齐性。注意，如果没有特别说明，都默认马尔科夫链具有时齐性；只有当马尔科夫链不满足时齐性时，我们才会强调非时齐的。这是因为我们极少会遇到非时齐的马尔科夫链。

由时齐性，可知转移概率与起始时间s无关：

并且当对于任意一个CTMC，在t=0时，转移概率pij(0)是固定的，都是δ函数：

有了任意两个状态间的转移概率，我们就能定义{X(t)}的转移概率矩阵来集中描述CTMC的状态是如何随着时间改变的：P(t)=(pij(t))i,j∈I

我们可以将一个时间间隔比较长的转移概率拆分为两个时间间隔比较短的转移概率，Chapman-Kolmogorov方程给出了两者的关系。或者写成矩阵形式有

P(t+s)=P(t)P(s)=P(s)P(t)

只需要给定初始状态和状态改变的规则，我们就能唯一确定一个连续时间马尔科夫链。用更严格的语言来表述，X(t)的概率分布p(t)由转移概率矩阵P(t)和X(0)的概率分布，即初始分布p(0)=(p1(0),p2(0),…)唯一决定：

p(t)=p(0)P(t)，

其中。

4.1.1 连续时间马尔科夫链中独有的概念

4.1.2.1 转移速率矩阵

在CTMC中，我们几乎都是用转移速率矩阵或者转移强度矩阵来描述状态转移的规则，记作Q=(qij)i,j∈S，而几乎不用转移概率矩阵，其中qij表示从i状态转移到j状态的速率。因为CTMC的转移概率矩阵中有一个时间参数t，对于不同的时间参数转移概率矩阵的大小不同，使用起来很麻烦；但在时齐性的前提下，转移速率矩阵是保持不变的，使用起来更加方便。转移速率矩阵具有下面三个重要的性质：

并且对于有限状态的CTMC，转移概率矩阵P(t)是转移速率矩阵Q的矩阵指数函数：

4.1.2.2 转移速率矩阵与转移概率矩阵关系

在这一节我们给出转移速率矩阵和转移概率矩阵之间关系推导思路，也就是为什么公式(2)成立的“证明”，仅供感兴趣的读者参考。

先给定转移概率矩阵P(t)，看看怎么能得到转移速率矩阵Q。对于离散时间马尔科夫链的一步转移概率矩阵P可以唯一决定n步转移概率矩阵：P(n)=Pn。但是对于CTMC，并不存在一个最小的正数δ，使得对于任意正数t，存在正整数n，有P(t)=P(δ)n成立。对于任意ϵ>0，可以证明{P(s)|0<s≤ϵ}可以决定所有的P(t)。这就提示我们，P(t)可能被唯一决定。这个极限是否存在呢？

在任何有限之间内只有有限次转移的CTMC，称作规则的CTMC。为了简化讨论，以后无特殊声明时，讨论的都是规则的CTMC。CTMC的轨迹是阶梯函数，并且在跳跃点是右连续的，更重要的是，它的概率转移矩阵P(t)在t=0时，存在右导数：

由于pij(t)是CTMC从i出发，经过t时间后处于j的概率，所以相应的，我们称qij是某一时刻从i出发，下一步向j转移的速率或强度，由此我们就得到了转移速率矩阵Q=(qij)i,j∈S。

接着讨论给定转移速率矩阵Q，如何确定转移概率矩阵P(t)？下面就通过Kolmogorov方程回答这个问题。

先回忆Chapman-Kolmogorov方程：

我们将右边称为前，把左边称为后，在上式两边对后面的t=0求导数，形式上得到

写成矩阵形式得到：

我们上面这两个式子称作CTMC的向后方程。

同样可以对Chapman-Kolmogorov方程前面的s=0求导数，形式上得到：

写成矩阵形式得到

这两个式子称作CTMC的向前方程。

向前方程和向后方程统称为Kolmogorov方程。

如果CTMC{X(t)}的状态空间S是有限集合，则称{X(t)}是有限状态CTMC。设状态空间S有n个状态，取：。则矩阵Qt元素的绝对值都小于qt,(Qt)2元素的绝对值都小于n(qt)2，…，(Qt)k元素的绝对值都小于nk−1(qt)k，于是下面级数中每个元素都收敛

再关于t逐项求导得到：

利用这个等式以及向前方程（也可以用向后方程证明），我们可以证明有限状态CTMC的转移概率矩阵P(t)由转移速率矩阵Q唯一决定，并且有：

4.1.3 具体例子1: 排队问题

我们可以用CTMC来描述超市收银台的顾客数。假设超市中只有一个收银台，顾客随机到达收银台并排队结账。顾客到达人数程服从泊松过程，平均到达速率为λ；而服务时间服从指数分布，平均服务速率为μ，状态空间为收银台前的顾客数目，此时我们有转移速率矩阵Q：

很容易它满足转移速率矩阵的三条性质。其中对角线元素表示离开状态n的总速率为−(λ+μ)，超对角线表示顾客到达的速率，次对角线表示服务完成的速率。矩阵中每行仅有3个非零元素，体现“局部状态转移”特性。在下一节中，我们还会介绍如何求出它的平稳分布。

下面我们给一个维度更少的例子来说明转移速率矩阵在CTMC中相对于转移概率矩阵的优势：

固定时间间隔为1，可以通过数值计算的方式计算矩阵指数，从Q得到P(1)：

可以看到用Q来描述连续时间马尔科夫链很直接，而试图用P(t)描述连续时间马尔科夫链的话，对每一个t都要计算一次矩阵指数。P(1)第3行[0,0,1]，表示一旦进入第三个状态，将永远停留，这也可以直接从Q中直接读出来。Q还能很方便地描述P(t)中无法直接描述的比例成块性，详见马尔科夫链的成块性。

4.1.4 具体例子2: 基因调控网络

在系统生物学中，基因调控网络（Gene Regulatory Network, GRN）描述了基因、蛋白质和其他分子之间复杂的相互作用，共同控制基因的表达水平。为了定量分析这类网络的动态行为，特别是涉及随机性的情况（如基因表达的噪声），人们常用CTMC作为数学建模的框架。考虑一个简化的两节点基因调控网络模型，包含以下两个组件。基因A：具有自发激活（Spontaneous Activation）和基础失活（Basal Inactivation）的能力。当基因A处于激活状态时，它能促进转录调节子R（Transcriptional Regulator R）的表达或激活。调节子R ：具有基础失活（Basal Inactivation）的能力。当调节子R处于激活状态时，它会抑制基因A的表达。这个网络形成了一个负反馈回路：A激活R，而R抑制A。

两节点基因调控网络

根据基因A和调节子R的状态组合，整个系统可以处在一下四种离散状态之一：S={A−R−,A−R+,A+R−,A+R+}。并对各状态转移参数进行建模，k1是A的自发激活速率，γ1是A的基础失活速率，γ2是R介导的A抑制速率，λ是A激活R的速率，μ是R的基础失活速率。下图展示了该基因调控网络四种状态之间可能的转移路径及其对应的速率参数：

基因调控网络状态转移示意图

基于上述状态定义和转移速率，可以构建描述该CTMC模型的转移速率矩阵Q。矩阵的行和列按顺序对应状态{A−R−,A−R+,A+R−,A+R+}

这个简单的两节点模型虽然结构简洁，通过调整参数的相对大小，能够展现出双稳态或者震荡的行为。同样的建模思路可以推广到更复杂的调控网络中，为研究基因表达噪声、细胞命运决策（如双稳态）、生物节律（如震荡）等生物学现象提供了强大的定量分析工具。

4.2 转移过程和演化性质

4.2.1 状态的划分——可达、互通和可约性

和离散时间马尔科夫链的一样，为了研究CTMC的极限分布以及平稳分布存在的条件，需要引入可达概念。设S是{X(t)}的状态空间，如果存在t>0使得pij(t)>0，则称i可达j，记作i→j。如果i→j且j→i，则称i,j互通，记作i↔j。如果S的所有状态不互通，则称{X(t)}可约。上面这个例子中，所有状态之间均存在转移路径，因此所有状态互通，该CTMC是不可约的。

实际上CTMC的状态划分问题与DTMC的状态划分问题完全等价。对于任何h>0，称{X(nh)}={X(nh)|n=0,1,2,…}为{X(t)}的一个离散骨架或h骨架。容易看出，{X(t)}的h骨架是有1步转移概率的离散时间马尔科夫链，其状态空间和{X(t)}的状态空间相同。并且CTMC的状态划分完全由h骨架的状态划分决定：i→j的充分必要条件是对存在一个h骨架i→j。

因为总有pii(nh)>0，所以对于h骨架来讲，从i出发可以在任意时刻回到i，说明它的所有状态都是非周期的，该性质为以后的讨论带来许多方便。i→j的充分必要条件是对存在一个h骨架i→j。

4.2.2 状态分布随着时间变化保持稳定——平稳分布

类似离散时间马尔科夫链，可以引入CTMC的平稳分布的定义。设P(t)是{X(t)}的转移概率矩阵，如果概率分布列p=(p0,p1,…)满足p=pP(t)，则称(p)是{X(t)}的平稳分布，或平稳不变分布。

更进一步，我们可以定义平稳过程。

定义（CTMC的平稳过程）：如果对于任何n≥1,s>0,0≤t0<t1<⋯<tn随机向量(X(t0+s),X(t1+s),…,X(tn+s))和(X(t0),X(t1),…,X(tn))同分布，则称{X(t)}是平稳过程。显然，当初始分布为平稳分布p时，{X(t)}为平稳过程。

前面我们提到了，在实际问题中我们常用转移速率矩阵Q描述CTMC，而不会用转移概率矩阵P(t)。所以最好能从转移速率矩阵Q入手的到平稳分布。平稳分布的定义pP(t)=p提示我们，形式上关于t求导应当有pQ=pP′(t)|t=0=p′=0。事实上，如果互通的CTMC{X(t)}有转移速率矩阵Q，则{X(t)}有唯一的平稳分布的充分必要条件是下面方程组有唯一非负解，这时p是{X(t)}的唯一平稳分布：

4.2.3 逆向过程和正向过程同分布——平稳可逆分布

在离散时间马尔科夫链{Xn}中，如果概率分布π=(π0,π1,…)满足细致平衡条件πipij=πjpji，则称π是{Xn}的平稳可逆分布，以平稳可逆分布π为初始分布的{Xn}称为平稳可逆的过程。CTCM中也有类似结论。

定义（细致平衡条件）：设{X(t)}的转移概率矩阵是P(t)，p=(p0,p1,…)是概率分布，称

为细致平衡条件，若p满足细致平衡条件，则称p为{X(t)}的平稳可逆分布或可逆分布。当p为{X(t)}的平稳可逆分布时，p也是{X(t)}的平稳分布。

{X(t)}以p为初始分布时，{X(t)}是平稳可逆过程。此时对于任何0≤t1<t2<⋯<tn<T，随机向量(X(T−t1),X(T−t2),…,X(T−tn))和(X(t1),X(t2),…,X(tn))同分布。如果{X(t)}是平稳可逆过程，则可以把时间方向倒过来观测这个过程，并且倒过来观测到的这个过程也是CTMC，转移概率和原来的过程一样。

同样的，由于实际问题中常用转移速率矩阵Q描述CTMC，而不是P(t)，所以我们也想从转移速率矩阵Q入手得到平稳可逆分布。对上面给出的细致平衡条件的t求导数，并利用得到

piqij=pjqji, i,j∈S （2）

事实上，若{X(t)}互通，有并且存在平稳分布，则细致平衡条件和这个方程有相同的非负解，满足这个方程的概率分布p也是{X(t)}的平稳可逆分布，所以我们也常常称公式（2）为CTMC的细致平衡条件。

4.1.4 具体例子

对于一个转移速率矩阵如下的CTMC

通过解平稳分布一节中给出的线性方程组，可以得到CTMC的唯一平稳分布。平稳分布是不是可逆的呢？以状态0和1为例，有，不满足公式（2）中的细致平衡条件，所以这个CTMC是不可逆的。

而对于另一个转移速率矩阵：

用同样的方法算出它的平稳分布为均匀分布，并且它满足公式（2）中的细致平衡条件，所以p是该转移速率矩阵的平稳可逆分布。

我们再回到最开始给出的超市排队的例子，它的转移速率矩阵为：

读者可以自行求解平稳分布满足的方程组，会发现只有当λ<μ时，平稳分布的方程组才有唯一非负解，可以解得pn=(1−ρ)ρn,ρ=λ/μ，当ρ≥1时，队伍会无限增长，不存在稳态分布。这个平稳分布是否是可逆的呢？由于这个CTMC的状态是局部转移的，我们可以对公式（2）中的细致平衡条件进行局部验证：pnλ=pn+1μ，代入pn=(1−ρ)ρn可知等式成立，所以它的平稳分布p是可逆的。

4.3 连续时间马尔科夫链的粗粒化

在连续时间马尔科夫链中粗粒化的本质是构造映射Φ:S→S′，将原始状态空间S划分为互不相交的区块{B1,B2,…,Bm}，并定义新的转移速率矩阵Q′描述区块间的转移动力学。理想的粗粒化需要满足三个要求：1. 维度压缩（|S′|<|S|）；2. 信息保留（关键统计量与动力学特征不变）；3. 结构一致性（粗粒度过程仍然为CTMC）。具体实现中，不同方法侧重不同目标，形成多样化的技术路线。

4.3.1 强成块性

当CTMC满足强成块性时，即存在状态划分使得任意区块Bk内的状态对外的集体转移速率一致。数学上，划分{Bk}需满足：

此时粗粒化后的转移速率矩阵Q′的元素为：

强成块性确保了区块内状态的不可区分性，粗粒化过程严格保持瞬态与稳态分布[12]。

4.3.2 时间尺度分解

对于有快慢分离特性的系统，快变量可很快达到准稳态，慢变量主导宏观动力学。设快变量状态集Sf和慢变量状态集Ss，粗粒化后的转移速率矩阵Q′的元素计算为：

其中为区块Bk内状态的准稳态分布，该方法在生物化学网络和通信协议中广泛应用[13]。

作者简介

本词条由集智俱乐部众包生产，难免存在纰漏和问题，欢迎大家留言反馈，一经采纳，可以获得对应的积分奖励噢！

亲爱的社区伙伴与知识探索者：

我们诚挚邀请热爱知识分享的您，加入集智百科词条编写志愿团队！无论您是领域专家，还是对特定主题充满热忱的学习者，这里都有您的舞台。通过编写百科词条，您将为全球读者传递权威知识，同时获得专家指导与个人能力跃升的双重成长。

📝 志愿者职责

创作新词条：覆盖复杂系统、人工智能等前沿领域

迭代经典内容：更新现有词条，守护知识的准确性与时效性

质量守护者：参与内容校对审核，共建精品知识库

🌟 我们期待您

集智读书会成员（需完成共创任务并获得退费资格）

拥有清晰表达复杂概念的写作能力

对特定领域有深度研究或强烈兴趣

具备信息检索与整合素养

怀揣责任感与协作精神，愿为知识共享赋能

🎁 您将收获

百科积分（支持兑换集智俱乐部周边：文化衫、复杂科学知识卡等）

集智俱乐部创始人张江教授亲自指导写作

科研助理晋升通道：表现优异者可加入张江教授科研团队

加入张江组发起的任何一期读书会并完成共创任务即可 让我们一起，用知识连接世界！

在霓虹灯的闪烁、蚁群的精密协作、人类意识的诞生中，隐藏着微观与宏观之间深刻的因果关联——这些看似简单的个体行为，如何跨越尺度，涌现出令人惊叹的复杂现象？因果涌现理论为我们揭示了答案：复杂系统的宏观特征无法通过微观元素的简单叠加解释，而是源于多尺度动态交互中涌现的因果结构。从奇异值分解（SVD）驱动的动态可逆性分析，到因果抽象与信息分解的量化工具，研究者们正逐步构建起一套跨越数学、物理与信息科学的理论框架，试图解码复杂系统的“涌现密码”。

为了系统梳理因果涌现最新进展，北京师范大学系统科学学院教授、集智俱乐部创始人张江老师领衔发起「因果涌现第六季」读书会，组织对本话题感兴趣的朋友，深入研读相关文献，激发科研灵感。

读书会将从2025年3月16日开始，每周日早9:00-11:00，持续时间预计10周左右。每周进行线上会议，与主讲人等社区成员当面交流，之后可以获得视频回放持续学习。诚挚邀请领域内研究者、寻求跨领域融合的研究者加入，共同探讨。

推荐阅读

1. 什么样的马尔科夫链可以被无损地粗粒化？｜集智百科

2. 基于信息分解的因果涌现理论｜集智百科

3. 因果效应度量｜集智百科

4. 涌现动力学如何用来分析复杂系统？ | 新课上线

5. 集智学园精品课程免费开放，解锁系统科学与 AI 新世界

6. 高考分数只是张入场券，你的科研冒险在这里启航！

7. 系统科学前沿十讲：理解自然、生命与社会的复杂性

点击“阅读原文”，报名读书会

阅读原文

跳转微信打开