首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >1个例子解释 隐马尔科夫模型(HMM) 的 5 个基本要素

1个例子解释 隐马尔科夫模型(HMM) 的 5 个基本要素

作者头像
double
发布2018-07-25 17:49:37
2.7K0
发布2018-07-25 17:49:37
举报
文章被收录于专栏:算法channel算法channel

隐马尔可夫模型(Hidden Markov Model,HMM)是一个寻找事物在一段时间里的变化模式的统计学方法,它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析。

HMM 现已成功地用于语音识别,自然语言处理,模式识别以及故障诊断等领域。

下面,通过一个例子,通俗易懂地解释 HMM 的 5 个基本要素,希望对大家有所启发。

基本要素

隐马尔可夫模型的 5 个要素如下所示:

1. 隐含状态 S

这些状态之间满足马尔可夫性质,是马尔可夫模型中实际所隐含的状态。这些状态通常无法通过直接观测而得到。

2. 可观测状态 O

在模型中与隐含状态相关联,可通过直接观测而得到,例如O1、O2、O3等。

3. 初始状态概率矩阵 π

表示隐含状态在初始时刻 t=1 的概率矩阵,例如 t=1 时,P(S1)=p1、P(S2)=P2、P(S3)=p3,则初始状态概率矩阵 π=[ p1 p2 p3 ].

4. 隐含状态转移概率矩阵 A

描述了HMM模型中 各个隐含状态 之间的转移概率,Aij = P( Sj | Si ), 1≤i, j≤N

表示在 t 时刻、状态为 Si 的条件下,在 t+1 时刻状态是 Sj 的概率。

5. 观测状态转移概率矩阵 B,英文为 Confusion Matrix,令N代表隐含状态数目,M代表可观测状态数目,则:Bij = P( Oi | Sj ), 1≤i≤M, 1≤j≤N ,表示在 t 时刻、隐含状态是 Sj 条件下,观察状态为 Oi 的概率。

例子解释

假设我们手里有三个不同的骰子,第一个骰子是我们平常见的骰子,称这个骰子为 D6,6个面,每个面(1,2,3,4,5,6)出现的概率是1/6。第二个骰子是个四面体,称这个骰子为 D4,每个面(1,2,3,4)出现的概率是1/4。第三个骰子有八个面,称这个骰子为 D8,每个面(1,2,3,4,5,6,7,8)出现的概率是1/8。

因此,HMM 的 5 个要素中的 2 个已经知道了,即:隐含状态 S = { D6, D4, D8 };可观测状态 O = {1,2,3,4,5,6,7,8 }. 同时,其他3个矩阵的shape也能确定了,初始状态初始状态概率矩阵的 shape 为 (3,1) , 隐含状态转移概率矩阵 A 的 shape 为 (3,3) ,观测状态转移概率矩阵 B 的shape 为 (3, 8).

假设我们开始掷骰子,我们先从三个骰子里挑一个,挑到每一个骰子的概率都是1/3。然后我们掷骰子,得到一个数字,1,2,3,4,5,6,7,8中的一个。不停的重复上述过程,我们会得到一串数字,每个数字都是1,2,3,4,5,6,7,8中的一个。

例如我们可能得到这么一串数字(掷骰子5次):1 6 3 5 2 . 这串数字叫做可见状态链。但是在隐马尔可夫模型中,我们不仅仅有这么一串可见状态链,还有一串隐含状态链。在这个例子里,这串隐含状态链就是你用的骰子的序列。比如,隐含状态链有可能是:D6 D8 D8 D6 D4

一般来说,HMM中说到的马尔可夫链其实是指隐含状态链,因为隐含状态(骰子)之间存在转换概率(transition probability)。在我们这个例子里,设定 t= 1 时, 抽中骰子 D4, D6, D8 的概率分别为 1/3 ,则初始状态概率矩阵为 (1/3, 1/3, 1/3).

设定,D6后面不能接D4,D6后面是D6的概率是0.9,是D8的概率是0.1;D4后面是D4 的概率为 0.3,D6的概率为 0.3,D8的概率是 0.4 ;D8后面是D4 的概率为 0.6,D6的概率为 0.1,D8的概率是 0.3 ;则 隐含状态转移概率矩阵 A

D4 D6 D8

D4 0.3 0.3 0.4

D6 0 0.9 0.1

D8 0.6 0.1 0.3

尽管可见状态之间没有转换概率,但是隐含状态和可见状态之间有一个概率叫做输出概率(emission probability)。就我们的例子来说,六面骰(D6)产生1的输出概率是1/6。产生2,3,4,5,6的概率也都是1/6。我们同样可以对输出概率进行其他定义。比如,我有一个被赌场动过手脚的六面骰子,掷出来是1的概率更大,是1/2,掷出来是2,3,4,5,6的概率是1/10,因此 ,观测状态转移概率矩阵 B

1 2 3 4 5 6 7 8

D4 1/4 1/4 1/4 1/4 0 0 0 0

D6 1/6 1/6 1/6 1/6 1/6 1/6 0 0

D8 1/8 1/8 1/8 1/8 1/8 1/8 1/8 1/8

我们同样可以对输出概率进行其他定义。比如,我有一个D6筛子被赌场动过手脚掷出来是1的概率更大,是1/2,掷出来是2,3,4,5,6的概率是1/10,则此时的 观测状态转移概率矩阵 B

1 2 3 4 5 6 7 8

D4 1/4 1/4 1/4 1/4 0 0 0 0

D6 1/2 1/10 1/10 1/10 1/10 1/10 0 0

D8 1/8 1/8 1/8 1/8 1/8 1/8 1/8 1/8

总结

例子解释 HMM 的 5 元素,希望对大家有用。如果觉得有点帮助,欢迎点赞和转发,您的鼓励是我一直前进的最大动力!

相关链接

  • https://blog.csdn.net/applenob/article/details/51470729
  • https://www.cnblogs.com/skyme/p/4651331.html

点击以下标题查看相关内容:

  • 深度学习|大师之作,必是精品
  • 免费送6本精选的算法,机器学习,深度学习的书
  • 机器学习、深度学习干货分享
  • 自然语言处理|语言模型介绍
  • 自然语言处理之词To词向量
  • 一文了解自然语言处理的每个范畴用到的核心技术,难点和热点(1)
  • NLP入门:CNN,RNN应用文本分类,个性化搜索,苹果和乔布斯关系抽取(2)
  • 下一代信息服务新风口:以自然语言为基本输入方式的问答系统综述(附两篇论文)
  • 一文梳理NLP之机器翻译和自动摘要的发展现状
  • 斯坦福大学NLP课程笔记系列1:深度学习应用于NLP介绍
  • TensorFlow 实战 3层网络求解嵌入词向量,附代码详解

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2018-04-08,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 程序员郭震zhenguo 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 基本要素
  • 例子解释
  • 总结
  • 相关链接
相关产品与服务
NLP 服务
NLP 服务(Natural Language Process,NLP)深度整合了腾讯内部的 NLP 技术,提供多项智能文本处理和文本生成能力,包括词法分析、相似词召回、词相似度、句子相似度、文本润色、句子纠错、文本补全、句子生成等。满足各行业的文本智能需求。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档