MapReduce程序的几种提交运行模式

以下将介绍以下开发完MapReduce程序后,提交运行的几个模式。

本地模型运行

  • 在windows的eclipse里面直接运行main方法,就会将job提交给本地执行器localjobrunner执行

----输入输出数据可以放在本地路径下(c:/wc/srcdata/)

----输入输出数据也可以放在hdfs中(hdfs://itunic:9000/wc/srcdata)

  • 在linux的eclipse里面直接运行main方法,但是不要添加yarn相关的配置,也会提交给localjobrunner执行 ----输入输出数据可以放在本地路径下(/home/hadoop/wc/srcdata/) ----输入输出数据也可以放在hdfs中(hdfs://itunic:9000/wc/srcdata)

集群模式运行

  • 将工程打成jar包,上传到服务器,然后用hadoop命令提交  hadoop jar wc.jar cn.itunic.hadoop.mr.WCRunner
  • 在linux的eclipse中直接运行main方法,也可以提交到集群中去运行,但是,必须采取以下措施: ----在工程src目录下加入 mapred-site.xml 和 yarn-site.xml ----将工程打成jar包(wc.jar),同时在main方法中添加一个conf的配置参数 conf.set("mapreduce.job.jar","wc.jar");
  • 在windows的eclipse中直接运行main方法,也可以提交给集群中运行,但是因为平台不兼容,需要做很多的设置修改 ----要在windows中存放一份hadoop的安装包(解压好的) ----要将其中的lib和bin目录替换成根据你的windows版本重新编译出的文件 ----再要配置系统环境变量 HADOOP_HOME 和 PATH ----修改YarnRunner这个类的源码

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏米扑专栏

Linux crond 不执行原因分析

36811
来自专栏云计算教程系列

如何在Ubuntu 18.04上安装Apache Kafka

Apache Kafka是一种流行的分布式消息代理,旨在有效处理大量实时数据。Kafka集群不仅具有高度可扩展性和容错性,而且与其他消息代理(如ActiveMQ...

872
来自专栏磨磨谈

Ceph数据盘怎样实现自动挂载

在Centos7 下,现在采用了 systemctl来控制服务,这个刚开始用起来可能不太习惯,不过这个服务比之前的服务控制要强大的多,可以做更多的控制,本节将来...

551
来自专栏Java开发

nohup 和>/dev/null 2>&1

在缺省情况下该作业的所有输出都被重定向到一个名为nohup.out的文件中,除非另外指定了输出文件:

703
来自专栏软件开发 -- 分享 互助 成长

java入门

一、java的运行机制 高级语言的运行机制主要有编译型和解释型两种。 C/C++属于编译型语言,由专门的编译器针对特定的操作系统平台进行翻译,生成可执行代码,特...

17710
来自专栏菜鸟程序员

Linux下的压缩命令

932
来自专栏浪淘沙

Python学习总结2--第一个Python程序

3.总结 最后,Python交互模式的代码是输入一行,执行一行, 而命令行模式下直接运行.py文件是一次性执行该文件内的所有代码。 可见,Pytho...

973
来自专栏ITCloud的专栏

一个集技术与才华于一身的95后小鲜肉,为你分享rabbitmq集群操作手法

关于作者 ? ? 在rabbitmq集群操作或者搭建的时候,常常会因为对于集群的不熟练而导致各种异常错误,常见的有绑定了浮动ip没有绑定实体ip导致,页面...

751
来自专栏运维小白

10.26 unit介绍

unit介绍 ls /usr/lib/systemd/system //系统所有unit,分为以下类型: service 系统服务 target 多个u...

1867
来自专栏专注数据中心高性能网络技术研发

Find命令-Linux系统搜索利器

1.Motivation ---- 搜索查找是管理文件系统常用的操作,虽然动作逻辑本质上是匹配,很简单,但搜索也有很多种花样,可以用来加速搜索,快速提取想要的内...

2805

扫码关注云+社区