MapReduce程序的几种提交运行模式

以下将介绍以下开发完MapReduce程序后,提交运行的几个模式。

本地模型运行

  • 在windows的eclipse里面直接运行main方法,就会将job提交给本地执行器localjobrunner执行

----输入输出数据可以放在本地路径下(c:/wc/srcdata/)

----输入输出数据也可以放在hdfs中(hdfs://itunic:9000/wc/srcdata)

  • 在linux的eclipse里面直接运行main方法,但是不要添加yarn相关的配置,也会提交给localjobrunner执行 ----输入输出数据可以放在本地路径下(/home/hadoop/wc/srcdata/) ----输入输出数据也可以放在hdfs中(hdfs://itunic:9000/wc/srcdata)

集群模式运行

  • 将工程打成jar包,上传到服务器,然后用hadoop命令提交  hadoop jar wc.jar cn.itunic.hadoop.mr.WCRunner
  • 在linux的eclipse中直接运行main方法,也可以提交到集群中去运行,但是,必须采取以下措施: ----在工程src目录下加入 mapred-site.xml 和 yarn-site.xml ----将工程打成jar包(wc.jar),同时在main方法中添加一个conf的配置参数 conf.set("mapreduce.job.jar","wc.jar");
  • 在windows的eclipse中直接运行main方法,也可以提交给集群中运行,但是因为平台不兼容,需要做很多的设置修改 ----要在windows中存放一份hadoop的安装包(解压好的) ----要将其中的lib和bin目录替换成根据你的windows版本重新编译出的文件 ----再要配置系统环境变量 HADOOP_HOME 和 PATH ----修改YarnRunner这个类的源码

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Coding01

VUE 完整项目构建 -- 进阶篇

执行下述代码,即可完成项目基础构建(已配置好webpack、依赖包的安装、基本目录的生成)。

1002
来自专栏点点滴滴

Centos7 配置默认防火墙Firewalld

2044
来自专栏容器云生态

Ansible基本配置以及使用示例

##Ansible基本使用以及模块详解 准备条件:注意:前提是ansible已经正常安装,并且可以使用 1.在ansible主机上创建ssh公私钥对 ansib...

2279
来自专栏自由而无用的灵魂的碎碎念

针对toad的schema brower和plsql developer的对象浏览器的一些分析

以前做JAVA开发时,一直用的都是plsql developer,搜索对象(表、触发器、DB_LINKS、同义词、序列)都是使用的对象浏览器:

822
来自专栏九彩拼盘的叨叨叨

Webpack 加载模块的规则

路径以 . 或 .. 打头,加载相对路径的模块。. 表示当前目录,.. 表示上层目录。 require('./foo.js') 将加载当前文件所在目录的 foo...

903
来自专栏FreeBuf

Nmap扫描对比工具–libnmap实践

帮朋友写一个nmap端口扫描然后与上次扫描进行对比的工具,与crontab结合定期扫描,保存对比数据。 google搜索了一下相关的模块,在freebuf上看到...

2496
来自专栏ytkah

dedecms数据库表前缀不一样怎么还原数据

  我们在用dedecms建站时,安装一般都“下一步”直接往下点,这样默认的表前缀是dede_,如果我们要还原从其他地方拷贝过来的数据,一定要注意表头是否一致。...

38611
来自专栏cnblogs

hexo配置自己的博客站点

最近业余时间利用hexo为自己搭建一个高度自定义的个人站点,站点发布在github上,访问地址为:https://cqhaibin.github.io/。本博客...

2117
来自专栏云计算教程系列

如何在Ubuntu 14.04上更改PHP设置

PHP是一种服务器端脚本语言,被许多流行的CMS和博客平台使用,如WordPress和Drupal。它也是流行的LAMP和LEMP堆栈的一部分。在设置基于PHP...

2630
来自专栏NetCore

微信快速开发框架(三)-- 建立微信公众平台测试账号

为了测试我的快速微信开发框架,建议大家可以申请一个测试账号进行测试,稍后我也会开一个微信公众账号(不过目前很麻烦,还要我手拿身份证拍照,囧!) 第一步:您要有一...

2169

扫码关注云+社区