前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Apache mahout中HMM(隐马尔可夫)算法的测试

Apache mahout中HMM(隐马尔可夫)算法的测试

作者头像
sparkexpert
发布2022-05-07 13:56:44
2650
发布2022-05-07 13:56:44
举报
文章被收录于专栏:大数据智能实战

  隐马尔可夫模型(Hidden Markov Model,HMM)是概率学上的一种统计模型,它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。

HMM正常主要用来解决三类问题,这三类问题对应都有相关的算法。

*1 评估问题: 前向 算法

*2 解码问题: Viterbi算法

*3 学习问题: Baum-Welch算法(向前向后算法)

  Mahout中居然还真的支持了这几种算法,于是进行下实验。

  (1)按照mahout官方文档给的例子进行测试。(https://mahout.apache.org/users/classification/hidden-markov-models.html

首先定义一个输入:

代码语言:javascript
复制
$ echo "0 1 2 2 2 1 1 0 0 3 3 3 2 1 2 1 1 1 1 2 2 2 0 0 0 0 0 0 2 2 2 0 0 0 0 0 0 2 2 2 3 3 3 3 3 3 2 3 2 3 2 3 2 1 3 0 0 0 1 0 1 0 2 1 2 1 2 1 2 3 3 3 3 2 2 3 2 1 1 0" > hmm-input
代码语言:javascript
复制
然后进行Baum-Welch算法测试
代码语言:javascript
复制
$ export MAHOUT_LOCAL=true
$ $MAHOUT_HOME/bin/mahout baumwelch -i hmm-input -o hmm-model -nh 3 -no 4 -e .0001 -m 1000

    最后返回预测的结果值:

代码语言:javascript
复制
$ $MAHOUT_HOME/bin/mahout hmmpredict -m hmm-model -o hmm-predictions -l 10

轻松试验成功,搞定。结果如图所示。

(2)进行mahout例子中的词性判断例子验证,其结果如图所示:

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2015-11-03,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档