前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Hadoop状态转移图生成

Hadoop状态转移图生成

作者头像
jiewuyou
发布2022-09-29 15:12:26
5930
发布2022-09-29 15:12:26
举报
文章被收录于专栏:数据人生数据人生

事件驱动和状态转移,在很大程度上保证了大型系统的顺利推进。状态转移有如下好处:

  1. 状态转移图是可以生成的。在讨论某个功能的时候,可以直接对着图进行讨论
  2. 某个状态转移图里面,通过加锁、生产者/消费者模式等方法,可以保证一个时间点只有一个状态转移,进而保证状态的正确性
  3. 在进行UT(单元测试)的时候,只需要对每一条转移路径进行测试就好啦

Hadoop也大量采用了这种方法,如MapReduce的状态转移,NM和RM中资源、任务的管理.

生成方法

hadoop内部的状态转移图,是可以通过程序生成的。方法:使用类VisualizeStateMachine,在运行的时候指定三个参数:图的名字、包含事件转移的类(类之间通过”,”隔开)、生成的文件名(.gv格式),如

代码语言:javascript
复制
$ hadoop org.apache.hadoop.yarn.state.VisualizeStateMachine TaskStateChange org.apache.hadoop.mapreduce.v2.app.job.impl.TaskImpl TaskImpl.gv

生成的图如下

TaskImpl
TaskImpl

hadoop所有的状态转移图生成方法

mvn命令生成

参考MAPREDUCE-2930

代码语言:javascript
复制
$mvn -Pvisualize compile
$dot -Tpng NodeManager.gv > NodeManager.png; dot -Tpng ResourceManager.gv > ResourceManager.png; dot -Tpng MapReduce.gv > MapReduce.png;

通过VisualizeStateMachine生成

hadoop中使用状态转移的大致有三类:MapReduce、NodeManager、ResourceManager,下面将给出生成这三大类转移图的脚本

MapReduce相关

代码语言:javascript
复制
hadoop org.apache.hadoop.yarn.state.VisualizeStateMachine MapReduce org.apache.hadoop.mapreduce.v2.app.job.impl.JobImpl,org.apache.hadoop.mapreduce.v2.app.job.impl.TaskImpl,org.apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl MapReduce.gv

NodeManager相关

代码语言:javascript
复制
hadoop org.apache.hadoop.yarn.state.VisualizeStateMachine NodeManager org.apache.hadoop.yarn.server.nodemanager.containermanager.application.ApplicationImpl,org.apache.hadoop.yarn.server.nodemanager.containermanager.container.ContainerImpl,org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.LocalizedResource NodeManager.gv

ResourceManager相关

代码语言:javascript
复制
hadoop org.apache.hadoop.yarn.state.VisualizeStateMachine ResourceManager org.apache.hadoop.yarn.server.resourcemanager.rmapp.attempt.RMAppAttemptImpl,org.apache.hadoop.yarn.server.resourcemanager.rmapp.RMAppImpl,org.apache.hadoop.yarn.server.resourcemanager.rmcontainer.RMContainerImpl,org.apache.hadoop.yarn.server.resourcemanager.rmnode.RMNodeImpl ResourceManager.gv
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2015-04-15,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 生成方法
  • hadoop所有的状态转移图生成方法
    • mvn命令生成
      • 通过VisualizeStateMachine生成
      领券
      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档