理解马尔可夫平稳条件

理解Markov平稳条件

看到西瓜书的近似推断的地方，蹦出来一个马尔可夫平稳条件, p(xt)T(xt−1|xt)=p(xt−1)T(xt|xt−1)p(x^t)T(x^{t-1}|x^t)=p(x^{t-1})T(x^{t}|x^{t-1}),看到这着实蒙了一会，之后查找一些资料后，终于搞明白这个公式是怎么来的了。

Markov Chain

马尔可夫链是由一个条件分布表示的P(Xt+1|Xt)P(X_{t+1}|X_t),这个公式也被称为转移概率。P(Xt)P(X_t)表示当前时间X的概率分布。有P(Xt+1)=∫P(Xt+1|Xt)P(Xt)dXtP(X_{t+1})=\int P(X_{t+1}|X_t)P(X_t)dX_t。当P(Xt+1=a)=P(Xt=a) ∀a∈XP(X_{t+1}=a) = P(X_t=a)\space\forall a\in X 时，我们称为平稳状态。

Marcov平稳条件

为了简单，我们假设X只有两种取值a，b，当到达平稳状态时， [Pt+1(a),Pt+1(b)P_{t+1}(a),P_{t+1}(b)] = [Pt(a),Pt(b)P_{t}(a),P_{t}(b)].即：

pt(a),pt(b)

\begin{matrix} p_{t}(a),p_{t}(b) \end{matrix} *

Pa|aPa|bPb|aPb|b

\begin{matrix} P_{a|a} & P_{b|a}\\ P_{a|b} & P_{b|b} \end{matrix}

=

[pt+1(a),pt+1(b)]

\begin{bmatrix} p_{t+1}(a),p_{t+1}(b) \end{bmatrix}

pt+1(a)=pt(a)Pa|a+pt(b)Pa|bpt+1(b)=pt(a)Pb|a+pt(a)Pb|b

\begin{aligned} & p_{t+1}(a)=p_{t}(a)P_{a|a}+p_{t}(b)P_{a|b}\\ & p_{t+1}(b)=p_{t}(a)P_{b|a}+p_{t}(a)P_{b|b} \end{aligned} 因为pt+1(a)=pt(a),pt+1(b)=pt(b)p_{t+1}(a)=p_{t}(a),p_{t+1}(b)=p_{t}(b),所以

p(a)(1−Pa|a)=p(b)Pa|bp(a)Pb|a=p(b)Pa|b

\begin{aligned} & p(a)(1-P_{a|a})=p(b)P_{a|b} \\ & p(a)P_{b|a}=p(b)P_{a|b} \end{aligned} 得证。

参考： 马尔可夫链