专栏首页cwl_Java大数据-MapReduce运行模式

大数据-MapReduce运行模式

4. MapReduce 运行模式

本地运行模式

  1. MapReduce 程序是被提交给 LocalJobRunner 在本地以单进程的形式运行
  2. 处理的数据及输出结果可以在本地文件系统, 也可以在hdfs上
  3. 怎样实现本地运行? 写一个程序, 不要带集群的配置文件, 本质是程序的 conf 中是否 有mapreduce.framework.name=local 以及 yarn.resourcemanager.hostname=local 参数
  4. 本地模式非常便于进行业务逻辑的 Debug , 只要在 Eclipse 中打断点即可

集群运行模式

  1. 将 MapReduce 程序提交给 Yarn 集群, 分发到很多的节点上并发执行
  2. 处理的数据和输出结果应该位于 HDFS 文件系统
  3. 提交集群的实现步骤: 将程序打成JAR包,然后在集群的任意一个节点上用hadoop命 令启动
hadoop jar hadoop_hdfs_operate‐1.0‐SNAPSHOT.jar cn.itcast.hdfs.demo1.JobMain

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 快速学习-处理响应数据

    cwl_java
  • 快速学习-DataNode

    1)一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。 2)D...

    cwl_java
  • 快速学习-JPA中的主键生成策略

    通过annotation(注解)来映射hibernate实体的,基于annotation的hibernate主键标识为@Id, 其生成规则由@Generated...

    cwl_java
  • 关键字《override》简析

    C++中的关键字 override,它的含义其实两句话就说完了,但为了叙述的完整性,让我们从虚函数说起。在C++中,虚函数是最常见的实现多态的机制之一,来个最...

    用户2617681
  • 315黑名单之夜,信息安全谁能逃过此劫?

    还有几个小时,315晚会就开始了,估计已经有一部分公司做好了预防自己中招的准备,公关团队+舆情监控系统蓄势待发,密切关注着315的一举一动,一旦有“万一”,第一...

    FB客服
  • 快速学习-处理响应数据

    cwl_java
  • 学习笔记TF065: TensorFlowOnSpark

    Hadoop生态大数据系统分为Yam、 HDFS、MapReduce计算框架。TensorFlow分布式相当于MapReduce计算框架,Kubernetes相...

    利炳根
  • 第41节:Java当中的类集框架

    类集框架是一组类和接口的集合,位于java.util包当中,是用来用户存储和管理对象的,在这个类集合框架中,我们主要学习的为三大类,分别是集合,列表和映射。

    达达前端
  • Hbase增删查改工具类

    用户1220053
  • Hbase学习笔记

    一、Hbase简介 1.什么是Hbase     HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBASE技术可在廉价PC Ser...

    曼路

扫码关注云+社区

领取腾讯云代金券