前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Hadoop中MR程序的几种提交运行模式

Hadoop中MR程序的几种提交运行模式

作者头像
intsmaze-刘洋
发布2018-08-29 17:17:49
1.4K0
发布2018-08-29 17:17:49
举报
文章被收录于专栏:一名合格java开发的自我修养

本地模型运行

1:在windows的eclipse里面直接运行main方法,就会将job提交给本地执行器localjobrunner执行

      ----输入输出数据可以放在本地路径下(c:/wc/srcdata/)

      ----输入输出数据也可以放在hdfs中(hdfs://centosReall-131:9000/wc/srcdata)

2:在linux的eclipse里面直接运行main方法,但是不要添加yarn相关的配置文件,也会提交给localjobrunner执行

      ----输入输出数据可以放在本地路径下(/home/hadoop/wc/srcdata/)

      ----输入输出数据也可以放在hdfs中(hdfs:/centosReall-131:9000/wc/srcdata)  

集群模式运行

1:将工程打成jar包,上传到服务器,然后用hadoop命令提交  hadoop jar wc.jar cn.intsmaze.hadoop.mr.wordcount.WCRunner

程序编写好以后要打包成jar包放到hadoop集群上进行运行。这里打包的jar包名为wc.jar。

先把文件上传到linux目录,然后在该目录下使用指令将该jar分发到hadoop集群中并指定运行哪一个程序。

hadoop jar wc.jar cn.intsmaze.hadoop.mr.WCRunner(指定运行java类的完整路径)这个时候程序就执行了。

2:在linux的eclipse中直接运行main方法,也可以提交到集群中去运行,但是,必须采取以下措施:

      ----在工程src目录下加入 mapred-site.xml  和  yarn-site.xml (这两个文件在搭建hdfs时修改了的见hdfs文件夹下的搭建日志)

      ----将工程打成jar包(wc.jar),同时在main方法中添加一个conf的配置参数 

代码语言:javascript
复制
Configuration conf = new Configuration();
conf.set("mapreduce.job.jar","wc.jar");

JAR包的位置要在运行程序的工程里面。

3:在windows的eclipse中直接运行main方法,也可以提交给集群中运行,但是因为平台不兼容,需要做很多的设置修改(很麻烦忽略)

----要在windows中存放一份hadoop的安装包(解压好的)

----要将其中的lib和bin目录替换成根据你的windows版本重新编译出的文件

----再要配置系统环境变量 HADOOP_HOME  和 PATH

----修改YarnRunner这个类的源码

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2016-06-24 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
大数据
全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档