MapReduce程序的几种提交运行模式

以下将介绍以下开发完MapReduce程序后,提交运行的几个模式。

本地模型运行

  • 在windows的eclipse里面直接运行main方法,就会将job提交给本地执行器localjobrunner执行

----输入输出数据可以放在本地路径下(c:/wc/srcdata/)

----输入输出数据也可以放在hdfs中(hdfs://itunic:9000/wc/srcdata)

  • 在linux的eclipse里面直接运行main方法,但是不要添加yarn相关的配置,也会提交给localjobrunner执行 ----输入输出数据可以放在本地路径下(/home/hadoop/wc/srcdata/) ----输入输出数据也可以放在hdfs中(hdfs://itunic:9000/wc/srcdata)

集群模式运行

  • 将工程打成jar包,上传到服务器,然后用hadoop命令提交  hadoop jar wc.jar cn.itunic.hadoop.mr.WCRunner
  • 在linux的eclipse中直接运行main方法,也可以提交到集群中去运行,但是,必须采取以下措施: ----在工程src目录下加入 mapred-site.xml 和 yarn-site.xml ----将工程打成jar包(wc.jar),同时在main方法中添加一个conf的配置参数 conf.set("mapreduce.job.jar","wc.jar");
  • 在windows的eclipse中直接运行main方法,也可以提交给集群中运行,但是因为平台不兼容,需要做很多的设置修改 ----要在windows中存放一份hadoop的安装包(解压好的) ----要将其中的lib和bin目录替换成根据你的windows版本重新编译出的文件 ----再要配置系统环境变量 HADOOP_HOME 和 PATH ----修改YarnRunner这个类的源码

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏前端那些事

nvm管理不同版本的node和npm

写在前面 nvm(nodejs version manager)是nodejs的管理工具,如果你需要快速更新node版本,并且不覆盖之前的版本;或者想要在不同的...

2538
来自专栏Coding01

VUE 完整项目构建 -- 进阶篇

执行下述代码,即可完成项目基础构建(已配置好webpack、依赖包的安装、基本目录的生成)。

872
来自专栏自由而无用的灵魂的碎碎念

针对toad的schema brower和plsql developer的对象浏览器的一些分析

以前做JAVA开发时,一直用的都是plsql developer,搜索对象(表、触发器、DB_LINKS、同义词、序列)都是使用的对象浏览器:

762
来自专栏cnblogs

hexo配置自己的博客站点

最近业余时间利用hexo为自己搭建一个高度自定义的个人站点,站点发布在github上,访问地址为:https://cqhaibin.github.io/。本博客...

2047
来自专栏BeJavaGod

图片上传的两种形式

很早以前的单应用项目上传图片都是很简单的,上传图片后在controller层设置路径并且保存到服务器的某个路径下就行了,数据库中存储路径地址,最后在tomcat...

3475
来自专栏企鹅号快讯

Linux安装redis,并设置访问权限,及使用可视化工具

一. 官网下载对应版本的redis 二. 拷贝至linux服务器并解压 将压缩包拷贝到/usr/local目录下 解压, 解压后重命名为redis 三. 编译安...

41215
来自专栏点点滴滴

Centos7 配置默认防火墙Firewalld

1664
来自专栏地方网络工作室的专栏

打造前端 Deepin Linux 工作环境——安装 koala css 预编译工具(安装deb包的方法

打造前端 Deepin Linux 工作环境——安装 koala css 预编译工具(安装deb包的方法) koala 是国人开发的一个 css 预编译工具,可...

2196
来自专栏容器云生态

Ansible基本配置以及使用示例

##Ansible基本使用以及模块详解 准备条件:注意:前提是ansible已经正常安装,并且可以使用 1.在ansible主机上创建ssh公私钥对 ansib...

2149
来自专栏小白安全

小白博客 linux目录结构

初学Linux,首先需要弄清Linux 标准目录结构 root --- 启动 Linux 时使用的一些核心文件。如操作系统 内核 、引导程序 Grub 等...

3256

扫码关注云+社区