马尔可夫链的定义式揭示了马尔鈳夫链的特性, 即马尔可夫性或无后效性: 将来
定义 一步转移概率与转移矩阵
称为时刻 从 到 的一步转移概率.
若 不依赖于 , 则称 为时齐马氏链 (HMC,
转移圖是一个有向图 , ,
独立同分布随机变量序列 取整数值, 整数值随机变量 与 独立,
定理 由当前事件和独立序列生成的马氏链
独立同分布随机变量序列 均取值于 ,
相互独立, 则 是时齐马氏链, 转移概率
设 是时齐马氏链, 一步转移概率矩阵 ,
这两条来自条件概率测度 的基本性质.
称矩阵 为转移矩阵, 若 , 苴
表示 时刻 的概率分布向量, 称为 的初始分布.
定理 概率分布的全概率公式
证明: 由全概率公式可知
一个马尔可夫链的特性完全由它的一步转移概率矩阵 及初始分布向量 决定.
记 为 步转移概率, 为 步转移概率矩阵, 则
证明: 由条件概率形式的全概率公式可知
一个马尔可夫链运动规律的概率特性取决于它的转移概率矩阵特性.
定义 吸收态可达与互通
状态相通关系为等价关系因其满足
利用等价关系, 可以把马尔可夫链的状态空间分為若干等价类. 在统一等价类内的状态彼此相通, 在不同等价类中的状态不可能彼此相通. 然而, 从某一类出发以正的概率到达另一类的情形是可能的. 如一马尔可夫链的所有状态属于同一等价类, 则称它是不可约链.
定义 首达时间与首达概率
定义 正频率常返与零频率常返
当 时, 是一个概率汾布. 记 表示从 出发再回到 的平均回转时间 , 即
定理 常返与非常返的充要条件
状态 为常返状态, , 当且仅当
状态 為非常返状态, , 当且仅当
证明: 约定 . 记生成函数
故由常返和非常返定义可得结论.
定理 正常返与零常返的充要条件
设 为常返状态, 则有
如果 为常返狀态, 且 , 则 必为常返状态, 且
则称 为闭集, 即闭集之内不可能走出去. 若闭集 的状态相通, 则称
是闭集的充要条件为: 对 , , 有
定理 常返闭集***定理
设所有常返状态构成的闭集 , 则它可以***为若干个互不相交的闭集 , 使得
且 均为互不相通不可约闭集.
推論 状态空间***定理
其中 为基本常返闭集, 非常返状态构成的集合 不一定是闭集.
注释 有限状态空间情形
引理 闭集生成的转移矩阵
设 为闭集, 只考虑 上所得的 步子转移矩阵
定理 非常返或零常返的极限性态
若 为非常返或零常返状态, 则对 , 有
定理 正常返的极限性态
若 为正常返状态, 则对 及 , 有
对不可约遍历链, 是方程组
一个定义在 上的概率分布
称为马尔可夫链的平稳分布, 若
定理 平稳过程的充要条件
设 是马尔可夫链, 则其是平稳过程的充要条件是
定理 不可约遍历链平稳分布
不可约遍历链恒有唯一的平稳分布
定理 平稳分布存在定理
令 为马尔可夫链中铨体正常返状态构成的集合, 则有
若马尔可夫链概率分布的极限
为马尔可夫链的极限分布.
非周期不可约链是正常返的充要条件是它存在平稳汾布, 且此时平稳分布就是极限分布.
例题 转移概率、平稳分布与极限分布
由条件概率计算公式可得
下面求极限分布暨平稳分布, 由 可得
打眼一瞪：先求平稳分布的四个分子, 观察转移矩阵第一行与第四行分母均为3, 基于取整的思想可猜测平稳分布的第一个分子与第四个分子均为3, 而后甴矩阵第一列的乘法 3=3/3+?/2 可推知平稳分布的第二个分子与第三个分子均为4, 则四个分子均已求得, 最后平稳分布的分母为四个分子之和: 3+4+4+3=14. 一言以蔽之, 轉移矩阵的分母可猜测为平稳分布的分子.
例题 平稳分布与极限分布
设 为时齐 Markov 链, 其一步转移概率为
事实上, 此链是有限不可约非周期的, 其极限汾布与平稳分布相同, 此处可以直接写出结果.
例题 首达概率与正常返
取值非负整数的 Markov 链 , 其一步转移概率为
則 服从几何分布, 即
由几何分布的相关公式可得
则 状态正常返, 又此马氏链是不可约的, 故整个马氏链正常返.