隐马尔可夫模型(Hidden Markov Model,HMM)是一个寻找事物在一段时间里的变化模式的统计学方法,它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析。
HMM 现已成功地用于语音识别,自然语言处理,模式识别以及故障诊断等领域。
下面,通过一个例子,通俗易懂地解释 HMM 的 5 个基本要素,希望对大家有所启发。
隐马尔可夫模型的 5 个要素如下所示:
1. 隐含状态 S
这些状态之间满足马尔可夫性质,是马尔可夫模型中实际所隐含的状态。这些状态通常无法通过直接观测而得到。
2. 可观测状态 O
在模型中与隐含状态相关联,可通过直接观测而得到,例如O1、O2、O3等。
3. 初始状态概率矩阵 π
表示隐含状态在初始时刻 t=1 的概率矩阵,例如 t=1 时,P(S1)=p1、P(S2)=P2、P(S3)=p3,则初始状态概率矩阵 π=[ p1 p2 p3 ].
4. 隐含状态转移概率矩阵 A
描述了HMM模型中 各个隐含状态 之间的转移概率,Aij = P( Sj | Si ), 1≤i, j≤N
表示在 t 时刻、状态为 Si 的条件下,在 t+1 时刻状态是 Sj 的概率。
5. 观测状态转移概率矩阵 B,英文为 Confusion Matrix,令N代表隐含状态数目,M代表可观测状态数目,则:Bij = P( Oi | Sj ), 1≤i≤M, 1≤j≤N ,表示在 t 时刻、隐含状态是 Sj 条件下,观察状态为 Oi 的概率。
假设我们手里有三个不同的骰子,第一个骰子是我们平常见的骰子,称这个骰子为 D6,6个面,每个面(1,2,3,4,5,6)出现的概率是1/6。第二个骰子是个四面体,称这个骰子为 D4,每个面(1,2,3,4)出现的概率是1/4。第三个骰子有八个面,称这个骰子为 D8,每个面(1,2,3,4,5,6,7,8)出现的概率是1/8。
因此,HMM 的 5 个要素中的 2 个已经知道了,即:隐含状态 S = { D6, D4, D8 };可观测状态 O = {1,2,3,4,5,6,7,8 }. 同时,其他3个矩阵的shape也能确定了,初始状态初始状态概率矩阵的 shape 为 (3,1) , 隐含状态转移概率矩阵 A 的 shape 为 (3,3) ,观测状态转移概率矩阵 B 的shape 为 (3, 8).
假设我们开始掷骰子,我们先从三个骰子里挑一个,挑到每一个骰子的概率都是1/3。然后我们掷骰子,得到一个数字,1,2,3,4,5,6,7,8中的一个。不停的重复上述过程,我们会得到一串数字,每个数字都是1,2,3,4,5,6,7,8中的一个。
例如我们可能得到这么一串数字(掷骰子5次):1 6 3 5 2 . 这串数字叫做可见状态链。但是在隐马尔可夫模型中,我们不仅仅有这么一串可见状态链,还有一串隐含状态链。在这个例子里,这串隐含状态链就是你用的骰子的序列。比如,隐含状态链有可能是:D6 D8 D8 D6 D4
一般来说,HMM中说到的马尔可夫链其实是指隐含状态链,因为隐含状态(骰子)之间存在转换概率(transition probability)。在我们这个例子里,设定 t= 1 时, 抽中骰子 D4, D6, D8 的概率分别为 1/3 ,则初始状态概率矩阵为 (1/3, 1/3, 1/3).
设定,D6后面不能接D4,D6后面是D6的概率是0.9,是D8的概率是0.1;D4后面是D4 的概率为 0.3,D6的概率为 0.3,D8的概率是 0.4 ;D8后面是D4 的概率为 0.6,D6的概率为 0.1,D8的概率是 0.3 ;则 隐含状态转移概率矩阵 A
D4 D6 D8
D4 0.3 0.3 0.4
D6 0 0.9 0.1
D8 0.6 0.1 0.3
尽管可见状态之间没有转换概率,但是隐含状态和可见状态之间有一个概率叫做输出概率(emission probability)。就我们的例子来说,六面骰(D6)产生1的输出概率是1/6。产生2,3,4,5,6的概率也都是1/6。我们同样可以对输出概率进行其他定义。比如,我有一个被赌场动过手脚的六面骰子,掷出来是1的概率更大,是1/2,掷出来是2,3,4,5,6的概率是1/10,因此 ,观测状态转移概率矩阵 B
1 2 3 4 5 6 7 8
D4 1/4 1/4 1/4 1/4 0 0 0 0
D6 1/6 1/6 1/6 1/6 1/6 1/6 0 0
D8 1/8 1/8 1/8 1/8 1/8 1/8 1/8 1/8
我们同样可以对输出概率进行其他定义。比如,我有一个D6筛子被赌场动过手脚掷出来是1的概率更大,是1/2,掷出来是2,3,4,5,6的概率是1/10,则此时的 观测状态转移概率矩阵 B
1 2 3 4 5 6 7 8
D4 1/4 1/4 1/4 1/4 0 0 0 0
D6 1/2 1/10 1/10 1/10 1/10 1/10 0 0
D8 1/8 1/8 1/8 1/8 1/8 1/8 1/8 1/8
例子解释 HMM 的 5 元素,希望对大家有用。如果觉得有点帮助,欢迎点赞和转发,您的鼓励是我一直前进的最大动力!
点击以下标题查看相关内容:
本文分享自 程序员郭震zhenguo 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!