前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >随机过程(5)——无限状态马尔科夫链的进一步探讨,泊松分布引入,复合泊松分布

随机过程(5)——无限状态马尔科夫链的进一步探讨,泊松分布引入,复合泊松分布

作者头像
学弱猹
发布2021-08-10 11:32:01
1.7K0
发布2021-08-10 11:32:01
举报
文章被收录于专栏:学弱猹的精品小屋

上一节笔记:随机过程(4)——返回时间,访问频率定理应用,离出分布,离出时间

————————————————————————————————————

大家好!

这一节我们开始对无限状态马尔可夫链做进一步的介绍。无限状态马尔可夫链的性质和有限状态略有不同,因此在一些问题的分析上,需要更加小心和注意。如果还有空的话,会给大家介绍泊松分布的基本概念。

那么我们开始吧。

目录

  • 无限状态马尔可夫链的进一步探讨
  • 泊松过程
  • 复合泊松过程

无限状态马尔可夫链的进一步探讨

对于无限状态马尔可夫链,主要的问题在于对常返性和平稳分布的探讨。简单来说,在无限状态的情况下,因为状态空间

S

是一个无限集(别忘了,我们要求可数),所以不可约+闭集不能够再得到马尔可夫链常返的结论。同样,平稳分布也并不是在不可约,常返,闭集等性质存在的时候,就能够存在的。因此在这一节,我们会用一个例子贯穿始终,观察状态无限的时候,性质究竟会如何变化,又应该如何刻画

Problem 1 考察一个随机游走问题。一个分子在数轴

\{0, 1, 2, \ldots\}

上向左或者向右移动。并且满足

p(i, i + 1) = p, i \ge 0

p(0, 0) = p(i, i - 1) = 1 - p, i \ge 1

。推导这个马尔可夫链在

p

的取值变化的时候,对应平稳分布性质的改变。

这里

p(i, i + 1) = p

就可以理解为,分子向右移动一步的概率为

p

研究平稳分布的性质,是因为无限状态马尔可夫链与有限状态,一个最大的区别就体现在了平稳分布的存在性上。现在我们不能够说平稳分布存在,所以我们只能先计算平稳测度。但无所谓,因为计算平稳测度,其实归根到底还是可以使用之前提到的细致平衡条件(见第3节(链接))。通过相邻两步之间的表达式,可以计算出

\pi(i) = \pi(0) (\frac p {1 - p})^i

这里我们设

\pi(i)

是我们要的平稳测度的第

i

个元素。这个推导不难,我们留给读者。

有了这个之后,在运算合法的情况下,我们可以算出

\pi(i) = \frac {1 - 2p}{1 - p}(\frac p {1 - p})^i

为什么叫运算合法?是因为我们之前提过,如果是一个平稳分布,那么起码要保证

\pi(i) > 0

。但是很明显,如果

p \ge \frac 12

,这个条件是不满足的,潜在意思就是,这个计算是不合法的,中间一定有出问题的步骤。但至少我们有了一个思考的方向,可以通过这个阈值

\frac 12

,来讨论我们

p

的取值。

如果

p < \frac 12

,那么我们有

\frac p {1 - p} < 1

,潜在意思是

\pi(i)

可以认为是一个等比数列,所以通过等比数列求和公式,可以得到我们

\pi(i)

的表达式,这里我们就不细推导了,非常简单。

但如果

p > \frac 12

,这里就有问题了。首先因为

\frac p {1 - p} > 1

,所以从

\pi(0)

出发,计算

\pi(1), \pi(2)

的时候,数值就会呈“指数爆炸”的形态。那么很明显,因为我们要计算

\sum_{i = 0}^\infty \pi(i)

以对平稳测度标准化为平稳分布,但是这样的话,

\sum_{i = 0}^\infty \pi(i)

不是一个有限值,所以就没有办法标准化。总结一下,就是在

p > \frac 12

的时候,平稳分布是不存在的。同样的,

p = \frac 12

的时候,虽然不会指数爆炸,但是我们会得到每一个

\pi(i)

都是相等的值。这样也是不行的,因为求一个无限和得到的值依然是无限的。所以平稳分布依然是不存在的。

如果我们到此为止了,那么相当于在说

p \ge \frac 12

是一个意思。但事实上完全不是。要说清这一点,我们要从常返这个概念出发,重新看这个问题。

如果

p < \frac 12

,那么每一个

\pi(i)

都是有值的。并且根据

\pi(i) = \frac 1 {E_i (T_i)}

,我们就可以得到

E_i(T_i) < \infty

。从

i

出发,有限次之后会回到

i

,这就是常返的定义。如果

p > \frac 12

,要想研究常返性,我们可以研究“先到达远点

N

的概率“,潜在意思就是把它变成一个离出分布问题

在这个题中,我们可以得出这么一个结论。

Lemma 1:

P_x(T_0 > T_N) = \frac {1 - \theta^x}{1 - \theta^N}

,其中

\theta = \frac {1-p} p

这里我们设

h(x) = P_x(T_0 > T_N)

,那么我们有

h(0) = 0

h(N)= 1

。这样的话,会有

h(x) = p h(x + 1) + (1-p)h(x - 1)

我们不难得到这个表达式的一个简便写法

p(h(x+ 1) - h(x)) = (1-p)(h(x) - h(x - 1))

(这里通过观察不难发现,但如果是学过数学竞赛或做过江苏高考,应该知道这种递推数列的通项求解其实是有通法的,后面我们会在另外一个例子简单介绍)因此可以得到的是

h(x+ 1) - h(x) = \frac {1- p} p (h(x) - h(x- 1))

这是一个很经典的等比数列,并且在

p > \frac 12

的时候,公比是小于1的。因此我们可以根据式子

1 = h(N) - h(0) = (h(N) -h(N- 1)) + (h(N-1) - h(N-2)) + \cdots
=s (1 + \theta + \cdots + \theta^{N - 1}) = \frac {s(1- \theta^N)}{1 - \theta}

也就是说,

s = h(1) - h(0) = \frac{1 - \theta}{1-\theta^N}

\theta

可以参考上面的定义。

h(x) = s(1 + \cdots + \theta^{x - 1}) = \frac{1 - \theta^x}{1 - \theta^N}

这也就是我们的答案。

这里我们可以令

N \to \infty

就得到了无限状态的情况,也就是说

h(x) \to 1 - \theta^x > 0

。在这个情况下,我们有

P_x(T_0 = \infty) > 0, \forall x

,这就说明状态并不是常返的。

但是在

p = \frac 12

的时候稍有不同。通过同样的计算方法,我们可以得到

P_x(T_0 > T_N) = \frac x N

潜在意思就是

h(x) \to 0

,也就是说我们仍然可以得到每一个状态都是常返的。这就得到了两个几乎完全对立的结果:常返和无平稳分布并存

事实上,如果你计算离出时间(也就是说考虑计算

g(x) = E_x(V_A), A = \{0, N\}

),按照之前对离出时间的计算方法,我们可以得到。

g(x) = 1 + p g(x + 1) + (1 - p) g(x - 1)

并且有

g(0) = g(N) = 0

。那么这样的话,其实可以得到

f(x + 1) = \frac {1 - p} p f(x) - \frac 1 p

其中

f(x) = g(x) - g(x-1)

。这里我们来介绍一下求解这种递推数组的通法。简单来说,两边都减一个未知数,凑出一个等比数列。也就是说我们有

f(x+ 1) - k = \frac {1 - p} p (f(x) - \frac{1} { 1- p} - \frac {pk}{1 - p})

为了保证是一个等比数列,我们解方程

k = \frac { pk + 1}{ 1- p}

这就可以得到

k = \frac 1 {1 - 2p}

。所以我们可以得到的是

f(x+1) - \frac 1 {1 - 2p} = \frac {1 - p} p (f(x) - \frac 1 { 1- 2p})

这就是最重要的式子,剩下的对结果的推导都交给读者,因为都是等比数列求和的事情(当然这个推导也能够告诉你,

p = \frac 12

是需要单独计算的)。通过这个,可以得到

g(x) = \frac x { 1 - 2p} - \frac N {1 - 2p} \frac {1 - (\frac {1-p} p)^x}{1 - (\frac {1- p}{p})^N}

,

p \ne \frac 12

这里不难看出的结论是,在

p < \frac 12

的时候,有

g(x) \to \frac {x}{1 - 2p} < \infty

,所以常返性是没有疑问的(别忘记

g(x)

的定义了),

p > \frac 12

的时候,有

g(x) \to \infty

,所以瞬时性也没有疑问。但是如果是

p = \frac 12

情况就有意思了。因为这个时候,有

g(x) = x (N - x)

(这是类似的方法推的),而我们又可以通过一步转移,得到

E_0 (T_0) = 1 + \frac 12 E_1 (T_0)

本质上还是一个离出时间公式。但是因为我们有

E_1(T_0) = g(1) \to \infty, N \to \infty

(多说几句,这是因为

E_1(V_A) \to E_1 (T_0), N \to \infty

,在

N \to \infty

的时候,我们是没办法走到

N

的,因此就相当于只用考虑“回到0”的情况就可以了)。所以实质上有

E_0 (T_0) = \infty

。好家伙,一方面我们根据常返的定义,知道

0

是一个常返状态,但是另一方面又得到了

E_0 (T_0) = \infty

,说明

0

不是一个常返状态。那我到底应该听谁的

为了弥补这个逻辑漏洞,统计学家下了另外一个新的定义。

Definition 1: Positive Recurrent, Null Recurrent 如果

x

满足

E_x (T_x) < \infty

,那么称它是一个正常返状态。如果

E_x (T_x) = \infty

但是

P_x(T_x < \infty) = 1

,那么称它是一个零常返状态。

所以这样,就解决了我们之前遇到的麻烦。

事实上,关于常返性,还有一个下面的定理。

Theorem 1: 对于一个不可约的马尔可夫链,下面性质等价

  1. 存在正常返的状态。
  2. 存在平稳分布
\pi

  1. 所有状态都是正常返的。

要想证明一系列的定理等价,重要的是证明出一个逻辑环。而很明显,

3 \to 1

是很显然的,所以其实只需要说明

1 \to 2, 2 \to 3

就可以。

我们先说明

1 \to 2

。不妨假设我们的

x

是一个正常返的状态,那么有

E_x (T_x) < \infty

。那么这个时候,如果你记着我们当时构造平稳测度的方法的时候,你应该有印象

\mu_x (y) = E_x (\sum_{k = 0}^{T_x - 1} I(X_k = y))

同时我们还有

\sum_{y \in S} \mu_x (y) = E_x (T_x) < \infty

忘了的话,就看一下第3节(随机过程(3)——无限状态的平稳测度,返回时间,访问频率:几个定理的证明)。

那么这样的话,

\pi(y) = \frac {\mu_x(y)}{E_x T_x}

就是我们的平稳分布,所以这一步就说明好了。

至于

2 \to 3

,要说明所有状态都常返,其实就说明所有状态的

\pi(x)

(假如说这个状态是

x

)都是正数就可以(因为

\pi(x) = \frac 1{E_x (T_x)}

)。

这里我们注意到平稳分布是存在的,所以一定有某一个元素是正的。我们不妨假设是

\pi(x_0)

。那么注意到不可约性,说明从任何一个状态出发,都能够到达另外一个状态

那么对于某一个状态

y

,我们不妨假设

x_0

可以经过

n

步到达

y

。用数学的话说,就是

\pi(y) = \sum_x \pi(x) p^n (x, y) \ge \pi(x_0) p^n(x_0 , y) >0

y

的任意性就足够说明结论了。

事实上无限状态马尔可夫链还有更多有趣的例子。不过我们这里已经点明了它最重要的一个与有限状态的区别,碍于篇幅我们就不多说了。也就是说到此为止,我们就算介绍完了离散马尔可夫链的所有内容

泊松过程

泊松过程(Poisson Process)是一类极为重要的随机过程。与马尔可夫链的场景不同,它主要关注的是状态与状态之间的转移时间的随机性。同时因为一方面,整个过程与泊松分布有关,所以起名叫泊松过程。另一方面,为了保持无记忆性,它与指数分布又密不可分。

首先,我们自然要先好好的定义一下,什么是泊松过程。

Definition 2-1: Poisson Process with rate

\lambda

\tau_1, \tau_2, \cdots

都是独立同分布的,且服从

\exp(\lambda)

,设

T_n = \sum_{k = 1}^n \tau_k

,并且

T_0 = 0

N(s) = \max \{n: T_n \le s\}, s \ge 0

表示在时间

s

之前的访问数,那么称

N(s)

是一个速率为

\lambda

的泊松过程。

你看到2-1这个标记就明白了,泊松过程不止一种定义

这个定义看上去乱七八糟的,但下面一张图可以很好的帮助理解。

所以在泊松过程中,我们不关心状态空间,只关心每一次访问的时间,速率

\lambda

越大,可以看出两个相邻状态之间的间隔时间

\tau_i

就会越短。可以看出,这里标记的

s

之前有三次访问,所以

N(s) = 3

接下来几个小的结论,可以刻画出泊松过程的一些有趣的特性。

Proposition 1:

T_n \sim \Gamma(n, \lambda)

这里

\Gamma

就是伽马分布,具体伽马分布的有关定义和它与指数分布的加和关系,可以参考《数理统计》第1节,这里就不赘述了。

https://zhuanlan.zhihu.com/p/70018601

Proposition 2:

N(s) \sim Poisson(\lambda s)

这个性质就解释了为什么称它为泊松过程。

我们证明一下,注意到

P(N(s) = n) = P(T_n \le s < T_{n + 1}) = P(T_n \le s, \tau_{n + 1} >s - T_n)

后面的概率公式中,

T_n, \tau_{n + 1}

都是随机变量,为了方便计算我们先考虑

T_n

的情况。注意到

P(T_n \le s, \tau_{n + 1} >s - T_n) = \int_0^s f_{T_n}(t) P(\tau_{n+ 1}> s-t)dt

这是因为

T_n, \tau_{n + 1}

根据定义是相互独立的,所以可以拆开来写。接下来只需要根据

T_n

服从伽马分布,

\tau_{n + 1}

服从指数分布,就可以得到

\int_0^s f_{T_n}(t) P(\tau_{n+ 1}>s-t)dt = \int_0^s \lambda e^{-\lambda t} \frac {(\lambda t)^{n - 1}}{(n - 1)!} e^{-\lambda (s - t) }dt

接下来就是一个纯的微积分计算题了,令

r = \lambda t

,就可以得到

\int_0^s \lambda e^{-\lambda t} \frac {(\lambda t)^{n - 1}}{(n - 1)!} e^{-\lambda (s - t) }dt = e^{- \lambda s}\int_0^{\lambda s} \frac {r^{n - 1}}{(n -1 )!}dr = e^{-\lambda s} \frac {(\lambda s)^n}{n !}

这就证明结论了,因为这个就是

Poisson(\lambda s)

的概率公式。

下面这个结论其实更加体现出了泊松过程的“无记忆性”。

Proposition 3: 设

t_0 < t_1 < \cdots < t_n

,那么

N(t_1) - N(t_0), \ldots, N(t_n) - N(t _{n - 1})

是相互独立的。

要说明这个,有一个证明方法,就是证明下面这一个结论。

Proposition 3-2: 设

t_0 < t_1 < \cdots < t_n

,那么

N(s+ t ) - N(s)

N(r), 0 \le r \le s

是相互独立的。并且

N(s +t ) - N(s)

也是一个速率为

\lambda

的泊松过程。

这个结论其实看上去还是挺好理解的,因为一个相当于“之后的一段过程”,一个则相当于“之前的一段过程”。

用一张图描述,就是下面这个情况。

简单来说,这就是一个非常典型的考察

\tau_{N(s) + 1}

的定理,注意到而这个东西是服从

\exp(\lambda)

的,也就是说具备无记忆性。这和马尔可夫链的结果是一模一样的,更加具体的来说,从任何一个时间点

s

开始,都是一条全新的泊松过程,所以它是一个速率为

\lambda

的泊松过程也就很好理解了。

有了这个之后,说明Proposition 3也就不难了。首先

N(t_1) - N(t_0)

不用说,是起点。然后注意到

N(t_2) - N(t_1)

N(r), 0 \le r \le t_1

独立,所以很自然的,可以得到

N(t_2) - N(t_1)

N(t_1) - N(t_0)

独立(因为

N(t_2) - N(t_1)

不能包含

t_1

之前的信息),后面的都一样推导就可以了。

下面,我们顺便说一下泊松过程的第二种定义。这个定义和Proposition 3也是息息相关。

Definition 2-2: Poisson Process with rate

\lambda

如果

N(0) = 0
N(t)

的增量独立(也就是Proposition 3的题干)

N(t + s) - N(s) \sim Poisson(\lambda t)

则称

N(t)

是一个速率为

\lambda

的泊松过程

既然它能够成为第二个泊松过程的定义,就说明两个定义之间,一定存在等价性。从Definition 2-1推导出Definition 2-2就是Proposition 3,那么反过来又如何推出呢?

要想从Definition 2-2推导出Definition 2-1,我们就需要看怎么推出到达间隔时间(也就是

\tau_i

相互之间具备独立性,并且都服从指数分布。要想说明这个,我们从

N(0) = 0

一步步往后看。

首先我们来看,

N(t) = 0

说明什么。注意到

P(N(t) = 0) = P(\tau_1 > t) = e^{-\lambda t}

这是因为

N(t)

根据条件,是服从泊松分布的,且

N(t) = N(t) - N(0)

。这个式子就说明了

\tau_1 \sim \exp(\lambda)

但是下一件事(也就是发现

\tau_2

满足的分布)可能稍微有点复杂,简单来说,需要同时发现独立性和指数分布这两件事。那么最好的一个方案就是计算

P(\tau_2 > t |\tau_1 = s)

这样的话只要说明它也是

e^{-\lambda t}

,就可以同时说明上面两个结论了。

注意到

P(\tau_2 >t | \tau_1 = s) = P(N(t + s) - N(s) = 0 | N(s) = 1, N(r) = 0, 0 \le r < s)
=P(N(t +s) - N(s) = 0) = e^{-\lambda t}

中间的两步分别用到了

N(t +s) - N(s)

的定义和“增量独立”的条件。所以这样的话,对于

\tau_3

及以后,我们也有相似的推导方法,因此这就足够说明了Definition 2-1与这个定义的等价性了。

好的,来看一个例子吧。

Problem 2: 设

N(t)

是一个速率为3的泊松过程,设

T_n

表示第

n

次的到达时间,计算

E(T_{12})
E(T_{12}|N(2)=5)
E(N(5)|N(2) = 5)

这个计算是对于泊松过程性质的一个很好的练习。

第一个题非常容易,注意到对一个服从

\exp(\lambda)

的随机变量来说,它的期望为

\frac 1 \lambda

,所以我们有

E(T_{12}) = \sum_{i = 1}^{12} E(\tau_i) = 4

第二个问题一看就知道要利用一些独立性。注意到

E(T_{12}|N(2) = 5) = E(T_{12} - 2|N(2) = 5) +E(2|N(2) = 5)
=E(T_7) + 2 = \frac {13} 3

第一行到第二行怎么得到

T_7

其实不是很好理解,我们用一张图解释这个推导过程。

简单来说,利用的就是“时间之前和时间之后”的相互独立性,从一个新的起点出发的泊松过程,和之前无关,且性质完全一样。这一点非常像马尔科夫链

相比较而言,第三个题做起来就更容易一些。一样,先加再减,所以我们有

E(N(5)|N(2) = 5) = E(N(5) -N(2)|N(2) = 5) + 5
=E(N(3)) + 5 = 14

这是因为

N(3) \sim Poisson(3 \times 3)

,所以有

E(N(3)) = 9

Problem 3: 考虑一个速率为

\lambda

的泊松过程,设

L

[0, t]

的时间内的最后一次的到达时间,也就是说如果

L = 0

,就说明状态在

[0, t]

中没有一次访问。

  1. 计算
E(t- L)
  1. 计算
\lim_{t \to \infty}E(t - L)

很明显,这一个题就是希望了解

X = t - L

所服从的分布。

首先,当

X = t

的时候,对应的是

L = 0

,这个是一个比较好算的情况,因为

P(L = 0) = P(\tau_1 > t) = e^{- \lambda t}

但是如果武断地去说,这样可以直接得到分布的话,就太天真了,因为在

X \in [0, t)

的时候,其实计算是比较复杂的。不妨假设我们的密度函数为

f_X(x)

,那么有

f_X(x) = P(L = t - x) = \sum_{n = 1}^\infty P(T_n = t - x, \tau_{n + 1} >x)

简单来说,这一步分解就是讨论这个“最后一次到达”究竟是第几次到达。那么这样的话,我们就有

P(T_n = t -x, \tau_{n + 1} >x) = f_{T_n}(t-x)P(\tau_{n + 1} > x)

这是因为

T_n

\tau_{n + 1}

相互独立。结合

T_n \sim \Gamma(n, \lambda)

\tau_{n + 1} \sim \exp (\lambda)

,我们有

f_X(x) = \sum_{n = 1}^\infty \frac{\lambda^n (t- x)^{n -1}}{(n - 1)!}e^{-\lambda (t -x)} e^{-\lambda x} = \lambda e^{-\lambda x}

最后一个等号来源于Taylor展开的级数求和。

这样的话,计算就变得容易了,因为这个时候,分开积分,可以得到

E(t - L) = E(X) = \int_0 ^t x p(x) dx + t P(x = t) = \int_0 ^t x \lambda e^{-\lambda x} + t e^{-\lambda t} = \frac {1 - e^{-\lambda t}}\lambda

这也就是我们的答案。

有了这个答案之后,第二问就简单了,令

t \to \infty

可以得到

E(t-L) \to \frac 1 \lambda

。事实上,可以进一步说明,当我们的

t \to \infty

的时候,也就是考虑全部时间的时候,

t - L

会趋近于指数分布

\exp (\lambda)

,换句话说,最后一次访问到最终时间

t

的差距,在极限状态下就是服从一个正常区间

\tau_i

所服从的分布

\exp (\lambda)

复合泊松过程

复合泊松过程(Compound Poisson Process)的场景比正常的泊松过程复杂一点(不然也不叫复合了)。在之前的泊松过程中,我们只关心两次相邻访问之间的时间差距

\tau_i

,但是这一次我们把这个时间做进一步的抽象,考虑量

S(t) = \sum_{ i =1}^{N(t)} Y_i

也就是说,这里我们考虑的并不仅仅是

\tau_i

的求和(也就是

T_n

),而是相当于,每一个时间都得到了一个“奖赏

Y_i

。我们可以用图表示这个。

复合泊松过程的场景一般都是用在计算中,因为它带来的一个最重要的性质就是下面这个公式。

Proposition 4: 设

S = \sum_{ i = 1}^N Y_i

,且

Y_i

独立同分布,且

N \ge 0, N \in \mathbb Z

且具备相互之间的独立性(Proposition 3),证明

E(S) = E(Y_1) E(N)
Var(S) = E(N) Var(Y_1) +Var(N)(E(Y_1))^2

其实这个定理的难点,也是最重要的点,就是

S

中同时包含两类随机变量

Y_i

N

。因此要证明这些公式,拆分出这两个随机变量是必要的。

拆分最好的方案就是重期望公式,简单来说就是

E(S) = E[E(S|N)]

那么注意到这个时候,因为有了一个条件

N

,所以可以根据这个条件的情况,拆分出不同的结果。具体来说就是

E[E(S|N)] = \sum_{n = 0}^\infty E(S|N = n)P(N = n) = \sum_{n = 0}^\infty \sum_{i = 1}^n E(Y_i |N = n)P(N = n)
=\sum_{n = 0}^\infty n E(Y_1)P(N = n) = E(Y_1)E(N)

这就证明了结论。

对于方差,我们事实上也是要利用重期望公式,但是是针对方差的。也就是

Var(S) = E[Var(S|N)] + Var[E(S|N)]

另外,利用和上面一模一样的推导思路,我们还有

Var(S|N) = N Var(Y_1)
E(S|N) = NE(Y_1)

代入,就可以得到结论,这个过程我们留给读者,就不自己写了。

再强调一遍,对于复合泊松过程,主要考查的是对随机变量(也就是对实际问题)的理解。如果能够读懂题目,那么剩下的就只是代入公式的问题了

多提一句,虽然我们在《数理统计》第1节(链接之前已经提过了)就提到过均值和方差的重期望公式,但是我们并没有给出证明。这里我们补一下相关的证明。

Lemma 1: 证明重期望公式,也即

E(S) = E[E(S|N)]
Var(S) = E[Var(S|N)] + Var[E(S|N)]

对于第一个,其实证明思路就是上面用到的推导思路,也即

E[E(S|N)] = \sum_{n = 0}^\infty E(S|N = n)P(N=n) = \sum_{n = 0}^\infty E(SI(N = n))
=E(S\sum_{n = 0}^\infty I(N = n)) = E(S)

所以关键还是中间的交换顺序。

对于第二个,证明稍微复杂一些。注意到

Var(S) = E(S - E(S))^2
= E[S - E(S|N)]^2 + E[E(S|N) -E(S)]^2 + 2E[(S- E(S|N))(E(S|N) - E(S))]
=E\{E[S - E(S|N)]^2 | N\} + Var[E(S|N)] = E[Var(S|N)] + Var[E(S|N)]

注意交叉项为0,是把

E

取到了后面的乘数上,利用第一个公式得到的。后面就是对于两个平方项的分别处理,也都是利用了第一个公式。

这个证明总体上没有太多的绕弯弯的地方,但是在期望的计算上有很多繁琐的细节,要仔细盘盘才能明白。

还是一样,我们来举一个例子

Problem 4: 考虑一个小店买物的问题。已知前往小店的客户数服从速率为81的泊松分布(按天计),每一个客户的花费服从一个均值为8,标准差为6的分布。问小店一天收益的均值与方差。

很明显,这里我们可以设

N

是客户数,而

Y_i

就是每一个客户的花费。这样的话,

S

的均值和方差,就是这个题的答案。

不难看出,

E(Y_i) = 8, Var(Y_i) = 36

,同时我们有

E(N) = 81

。所以直接把公式代入,可以算出

E(S) = 648, Var(S) = 8100

。具体的计算交给读者。

好的,关于泊松过程,我们先说到这里。

小结

本节主要讨论了无限状态马尔可夫链的零常返,正常返问题。并且同时我们也介绍了简单的泊松过程,复合泊松过程的性质和应用。在下一节,我们会介绍泊松过程的一些常见变换。这些变换可以让我们更容易发现一些让人拍案叫绝的性质,也会引出更多与泊松过程有关的具体应用。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-12-24,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 学弱猹的精品小屋 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 目录
  • 无限状态马尔可夫链的进一步探讨
  • 泊松过程
  • 复合泊松过程
  • 小结
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档