专栏首页机器学习算法原理与实践用hmmlearn学习隐马尔科夫模型HMM

用hmmlearn学习隐马尔科夫模型HMM

    在之前的HMM系列中,我们对隐马尔科夫模型HMM的原理以及三个问题的求解方法做了总结。本文我们就从实践的角度用Python的hmmlearn库来学习HMM的使用。关于hmmlearn的更多资料在官方文档有介绍。

1. hmmlearn概述

    hmmlearn安装很简单,"pip install hmmlearn"即可完成。

    hmmlearn实现了三种HMM模型类,按照观测状态是连续状态还是离散状态,可以分为两类。GaussianHMM和GMMHMM是连续观测状态的HMM模型,而MultinomialHMM是离散观测状态的模型,也是我们在HMM原理系列篇里面使用的模型。

    对于MultinomialHMM的模型,使用比较简单,"startprob_"参数对应我们的隐藏状态初始分布$\Pi$, "transmat_"对应我们的状态转移矩阵$A$, "emissionprob_"对应我们的观测状态概率矩阵$B$。

    对于连续观测状态的HMM模型,GaussianHMM类假设观测状态符合高斯分布,而GMMHMM类则假设观测状态符合混合高斯分布。一般情况下我们使用GaussianHMM即高斯分布的观测状态即可。以下对于连续观测状态的HMM模型,我们只讨论GaussianHMM类。

    在GaussianHMM类中,"startprob_"参数对应我们的隐藏状态初始分布$\Pi$, "transmat_"对应我们的状态转移矩阵$A$, 比较特殊的是观测状态概率的表示方法,此时由于观测状态是连续值,我们无法像MultinomialHMM一样直接给出矩阵$B$。而是采用给出各个隐藏状态对应的观测状态高斯分布的概率密度函数的参数。

    如果观测序列是一维的,则观测状态的概率密度函数是一维的普通高斯分布。如果观测序列是$N$维的,则隐藏状态对应的观测状态的概率密度函数是$N$维高斯分布。高斯分布的概率密度函数参数可以用$\mu$表示高斯分布的期望向量,$\Sigma$表示高斯分布的协方差矩阵。在GaussianHMM类中,“means”用来表示各个隐藏状态对应的高斯分布期望向量$\mu$形成的矩阵,而“covars”用来表示各个隐藏状态对应的高斯分布协方差矩阵$\Sigma$形成的三维张量。

2. MultinomialHMM实例

    下面我们用我们在HMM系列原理篇中的例子来使用MultinomialHMM跑一遍。

    首先建立HMM的模型:

import numpy as np
from hmmlearn import hmm

states = ["box 1", "box 2", "box3"]
n_states = len(states)

observations = ["red", "white"]
n_observations = len(observations)

start_probability = np.array([0.2, 0.4, 0.4])

transition_probability = np.array([
  [0.5, 0.2, 0.3],
  [0.3, 0.5, 0.2],
  [0.2, 0.3, 0.5]
])

emission_probability = np.array([
  [0.5, 0.5],
  [0.4, 0.6],
  [0.7, 0.3]
])

model = hmm.MultinomialHMM(n_components=n_states)
model.startprob_=start_probability
model.transmat_=transition_probability
model.emissionprob_=emission_probability

    现在我们来跑一跑HMM问题三维特比算法的解码过程,使用和原理篇一样的观测序列来解码,代码如下:

seen = np.array([[0,1,0]]).T
logprob, box = model.decode(seen, algorithm="viterbi")
print("The ball picked:", ", ".join(map(lambda x: observations[x], seen)))
print("The hidden box", ", ".join(map(lambda x: states[x], box)))

    输出结果如下:

('The ball picked:', 'red, white, red')
('The hidden box', 'box3, box3, box3')

    可以看出,结果和我们原理篇中的手动计算的结果是一样的。

    也可以使用predict函数,结果也是一样的,代码如下:

box2 = model.predict(seen)
print("The ball picked:", ", ".join(map(lambda x: observations[x], seen)))
print("The hidden box", ", ".join(map(lambda x: states[x], box2)))

    大家可以跑一下,看看结果是否和decode函数相同。

    现在我们再来看看求HMM问题一的观测序列的概率的问题,代码如下:

print model.score(seen)

    输出结果是:

-2.03854530992

    要注意的是score函数返回的是以自然对数为底的对数概率值,我们在HMM问题一中手动计算的结果是未取对数的原始概率是0.13022。对比一下:$$ln0.13022 \approx -2.0385$$

    现在我们再看看HMM问题二,求解模型参数的问题。由于鲍姆-韦尔奇算法是基于EM算法的近似算法,所以我们需要多跑几次,比如下面我们跑三次,选择一个比较优的模型参数,代码如下:

import numpy as np
from hmmlearn import hmm

states = ["box 1", "box 2", "box3"]
n_states = len(states)

observations = ["red", "white"]
n_observations = len(observations)
model2 = hmm.MultinomialHMM(n_components=n_states, n_iter=20, tol=0.01)
X2 = np.array([[0,1,0,1],[0,0,0,1],[1,0,1,1]])
model2.fit(X2)
print model2.startprob_
print model2.transmat_
print model2.emissionprob_
print model2.score(X2)
model2.fit(X2)
print model2.startprob_
print model2.transmat_
print model2.emissionprob_
print model2.score(X2)
model2.fit(X2)
print model2.startprob_
print model2.transmat_
print model2.emissionprob_
print model2.score(X2)

    结果这里就略去了,最终我们会选择分数最高的模型参数。

    以上就是用MultinomialHMM解决HMM模型三个问题的方法。

3. GaussianHMM实例

    下面我们再给一个GaussianHMM的实例,这个实例中,我们的观测状态是二维的,而隐藏状态有4个。因此我们的“means”参数是$4 \times 2$的矩阵,而“covars”参数是$4 \times 2 \times 2$的张量。

    建立模型如下:

startprob = np.array([0.6, 0.3, 0.1, 0.0])
# The transition matrix, note that there are no transitions possible
# between component 1 and 3
transmat = np.array([[0.7, 0.2, 0.0, 0.1],
                     [0.3, 0.5, 0.2, 0.0],
                     [0.0, 0.3, 0.5, 0.2],
                     [0.2, 0.0, 0.2, 0.6]])
# The means of each component
means = np.array([[0.0,  0.0],
                  [0.0, 11.0],
                  [9.0, 10.0],
                  [11.0, -1.0]])
# The covariance of each component
covars = .5 * np.tile(np.identity(2), (4, 1, 1))

# Build an HMM instance and set parameters
model3 = hmm.GaussianHMM(n_components=4, covariance_type="full")

# Instead of fitting it from the data, we directly set the estimated
# parameters, the means and covariance of the components
model3.startprob_ = startprob
model3.transmat_ = transmat
model3.means_ = means
model3.covars_ = covars

     注意上面有个参数covariance_type,取值为"full"意味所有的$\mu,\Sigma$都需要指定。取值为“spherical”则$\Sigma$的非对角线元素为0,对角线元素相同。取值为“diag”则$\Sigma$的非对角线元素为0,对角线元素可以不同,"tied"指所有的隐藏状态对应的观测状态分布使用相同的协方差矩阵$\Sigma$

    我们现在跑一跑HMM问题一解码的过程,由于观测状态是二维的,我们用的三维观测序列, 所以这里的 输入是一个$3 \times 2 \times 2$的张量,代码如下:

seen = np.array([[1.1,2.0],[-1,2.0],[3,7]])
logprob, state = model.decode(seen, algorithm="viterbi")
print state

     输出结果如下:

[0 0 1]

    再看看HMM问题一对数概率的计算:

print model3.score(seen)

    输出如下:

-41.1211281377

    以上就是用hmmlearn学习HMM的过程。希望可以帮到大家。

(欢迎转载,转载请注明出处。欢迎沟通交流: liujianping-ok@163.com) 

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 奇异值分解(SVD)原理与在降维中的应用

        奇异值分解(Singular Value Decomposition,以下简称SVD)是在机器学习领域广泛应用的算法,它不光可以用于降维算法中的特征分解...

    刘建平Pinard
  • 贝叶斯个性化排序(BPR)算法小结

        在矩阵分解在协同过滤推荐算法中的应用中,我们讨论过像funkSVD之类的矩阵分解方法如何用于推荐。今天我们讲另一种在实际产品中用的比较多的推荐算法:贝叶...

    刘建平Pinard
  • word2vec原理(二) 基于Hierarchical Softmax的模型

        word2vec原理(二) 基于Hierarchical Softmax的模型

    刘建平Pinard
  • Python入门篇-数据类型-字符串

    昨天我们用过的input() ,用户输入的都是字符串形式,而我们如果基本运算需要用到int类型,这个时候就需要用到强转换。

    致码DevOps
  • 贷款诈骗 x 摸版0day + 实战预警脚本

    挖掘贷款摸版漏洞--》发现同摸版网站--》利用漏洞数据解析整理 --》 输入预警受害人!!

    徐焱
  • 优先考虑 nameof

    在分布式场景中,我们经常需要进行多个系统之间的通信,要实现这些通信往往需要不同的库对相应的需求进行处理。这些库为了实现跨平台和跨语言的兼容性往往利用数据名称和字...

    喵叔
  • Swift 数组(Arrays)

    数组使用有序列表存储同一类型的多个值。相同的值可以多次出现在一个数组的不同位置中。

    赵哥窟
  • .NET ValueTuple使用WhenAll获取多个任务结果

    在.NET中,我们可以通过Task.WhenAll用来等待多个任务。任务完成之后,我们可以使用await等待他们来获取结果。

    HueiFeng
  • dotnet OpenXML 如何判断是形状还是文本

    在 OpenXML 格式里面,其实不存在文本这个元素,所有都是形状。但是在 PPT 界面看到的文本框是什么呢?其实他是特别的形状。而几乎所有的形状都可以输入文本...

    林德熙
  • Math类、Random类与数组集合

    Math类是在java.lang包下的一个用于数学计算的类。Math 类包含用于执行基本数学运算的方法,如初等指数、对数、平方根和三角函数。

    端碗吹水

扫码关注云+社区

领取腾讯云代金券