如何在Hadoop和Yarn中并行化MapReduce作业？
在Hadoop和Yarn中并行化MapReduce作业可以通过以下步骤实现：
- 配置Hadoop集群：确保Hadoop集群已正确配置并运行。这包括正确设置Hadoop的核心配置文件（如hdfs-site.xml和core-site.xml）以及Yarn的配置文件（如yarn-site.xml）。
- 编写MapReduce作业：使用适当的编程语言（如Java）编写MapReduce作业。确保作业逻辑正确，并且输入输出路径已正确设置。
- 设置作业参数：在作业配置中，设置适当的参数以实现并行化。这些参数包括作业的输入路径、输出路径、Mapper和Reducer的数量等。
- 提交作业：使用Hadoop命令行工具或编程API将作业提交到Hadoop集群。确保作业提交成功并开始运行。
- 监控作业：使用Hadoop的监控工具（如YARN的ResourceManager和NodeManager）来监控作业的运行状态。可以查看作业的进度、日志和其他相关信息。
- 调优作业：根据作业的需求和性能要求，进行必要的调优。这可能包括调整作业的参数、增加集群资源、优化作业的逻辑等。
- 完成作业：当作业成功完成时，可以从输出路径中获取结果。根据需要，可以进一步处理结果或将其用于其他任务。
在腾讯云中，可以使用Tencent Hadoop和Tencent Yarn来实现上述步骤。Tencent Hadoop是腾讯云提供的Hadoop分布式计算服务，支持大规模数据处理和分析。Tencent Yarn是腾讯云提供的资源管理器，用于管理和调度Hadoop集群中的任务。
更多关于Tencent Hadoop和Tencent Yarn的信息，请访问以下链接：
相关·内容
1回答
Hadoop MR2作业统计
hadoop
hduser@vagrant:/usr/local/hadoop$ hadoop version另外，我使用bash sbin/start-dfs.sh启动hadoop集群，并看到Datanode、namenode和次要节点正在运行。hduser@vagrant:/usr/local/hadoop$ jps2503 NameNode2825
浏览 4提问于2016-01-08得票数 1
回答已采纳
1回答
监控并验证较长的distcp操作
hadoop、hdfs、cluster-computing、distcp
除了检查yarn/mapreduce日志之外，是否还有其他方法可以监视和验证大型hadoop distcp、群集到群集、hdfs拷贝作业？(数百万个大大小小的文件，预计运行时间:几天，由于虚拟化环境和群集的并行生产使用而改变了网络速度)
在HDP2.6.1上使用DistCp V2和Apache Hadoop2.7.3
浏览 8提问于2018-10-18得票数 0
0回答
Hadoop单伪分布式节点集群出现问题
java、hadoop、mapreduce
我正在尝试将hadoop服务器设置为伪分布式，以允许map/reduce任务并行执行。这是我当前的配置，我必须编辑什么才能让hadoop运行并行映射任务/ reduce任务？(我使用start-dfs和start-yarn运行hadoop服务器)<configuration> <name>mapreduce.frame
浏览 14提问于2017-01-09得票数 0
1回答
如何在Hadoop和Yarn中并行化MapReduce作业？
hadoop、parallel-processing、hadoop-yarn
在有人问之前:是的，我的输入是可拆分的，它是一个5 GB的文件，当我提交作业时，我得到了mapreduce.JobSubmitter: number of splits:39。我有两个数据节点，第一个在master的同一个节点上，第二个是活动的，但只有第一个运行作业。在mapred-site.xml中，我有 <property> <value>yar
浏览 12提问于2019-12-18得票数 0
我是Hadoop 2.5.1的新手。因为我之前已经安装了Hadoop 1.0.4，所以我认为安装过程应该是相同的，所以请遵循下面的教程。一切都很好，即使我在core-site.xml中给出了这些设置尽管如此，当我运行mapreduce</em
浏览 0提问于2014-11-05得票数 0
1回答
Hadoop -如何在运行时运行另一个mapreduce作业？
hadoop、hive、mapreduce、hadoop-yarn、hadoop2
/bin/hadoop job -kill job_1539782606189_0033需要调整哪些设置才能并行执行作业？我目前使用的是hadoop 2.5.2 version.
编辑:现在，我的集群只消
浏览 0提问于2018-10-22得票数 0
1回答
JMX导出Mapreduce指标
hadoop、mapreduce、jmx、jmx-exporter
我正在尝试使用JMX导出Hadoop集群的指标。它适用于HDFS和resourceManager。将其添加到HADOOP_OPTS、HADOOP_NAMENODE_OPTS、HADOOP_DATANODE_OPTS和YARN_RESOURCEMANAGER_OPTS。如何导出作业的Mapreduce指标？我想导出作业操作，如映射和缩减。作为下图中显示作业UI的指标
浏览 16提问于2019-06-03得票数 0
1回答
非hdfs文件系统上的hadoop/yarn和任务并行化
hadoop、hdfs、hpc、hadoop2
我已经实例化了一个Hadoop2.4.1集群，并且我发现，根据输入数据所在的文件系统的类型，运行MapReduce应用程序的并行化方式会有所不同。使用HDFS，MapReduce作业将产生足够的容器，以最大限度地利用所有可用内存。例如，一个具有172 2GB内存的3节点集群，每个map任务分配2 2GB，将创建大约86个应用程序容器。在一个不是HDFS的文件系统上(比如NFS或者在我的用例中，是一个并行文件系统)，一个MapReduce</em
浏览 0提问于2014-08-13得票数 7
4回答
MapReduce与纱线的区别
hadoop、mapreduce、hadoop-yarn、speculative-execution
我在搜索hadoop和mapreduce关于straggler问题和这个问题的论文遗憾的是，没有论文讨论纱线中的散布问题。所以我想知道MapReduce和Yarn在部分掉队方面有什么不同？纱线有掉队的问题吗？
浏览 1提问于2014-11-15得票数 5
3回答
ResourceManager client.RMProxy:连接到Hadoop
hadoop、hadoop-yarn
ResourceManager client.RMProxy:连接到Hadoop当我运行mapreduce应用程序时，如下所示：hadoop jar hadoop-mapreduce-examples我试图添加到yarn-site.xml，但不起作用。<property><value>127
浏览 4提问于2015-02-25得票数 4
2回答
相同的代码可以同时用于hadoop和yarn吗
hadoop、hadoop-yarn
我一直在尝试通过运行基本的字数统计示例来比较Hadoop1和yarn的性能。我仍然不确定如何使用相同的.jar文件在两个框架上执行。据我所知，yarn有一组不同的应用程序接口，用于设置与资源管理器的连接，创建应用程序主机等。因此，如果我开发一个应用程序(.jar)，它可以在两个框架上运行而不需要任何代码更改吗？另外，对于特定的应用程序，哪些参数是区分hadoop和yarn的有意义的参数？
浏览 5提问于2014-04-03得票数 2
11回答
Yarn MapReduce作业问题-Hadoop2.3.0中的AM容器启动错误
java、hadoop、mapreduce、hadoop-yarn
我已经设置了Hadoop 2.3.0的2节点集群。它工作得很好，我可以成功地运行distributedshell-2.2.0.jar示例。但是当我尝试运行任何mapreduce作业时，我得到了错误。我已经根据()设置了用于运行MapReduce作业的MapRed.xml和其他配置，但我收到以下错误：
14/03/22 20:31:17 INFO mapreduce.Job: Job job_1395502230567中没有正确设置类
浏览 196提问于2014-03-22得票数 19
hadoop job -kill job_id和yarn application -kill application_id有什么区别？job_id和application_id是否代表/引用同一任务？
浏览 0提问于2015-05-19得票数 11
1回答
当查看已完成的火花作业的日志时，重定向到容器的日志服务器
hadoop、apache-spark、hadoop-yarn
在集群模式下，当火花作业在纱线上运行时，我可以通过stdout/stderr链接查看执行程序的日志，如但是当作业完成后，通过stdout/stderr链接查看执行者的日志将得到一个错误页面，如
重定向到container_1500432603585_0148_01_000001_150043260358
浏览 2提问于2017-08-10得票数 2
1回答
如何删除hadoop Hortonworks中的banned.users
mapreduce、hdfs、hadoop-yarn、hadoop2、hortonworks-data-platform
我有HDP Hortonworks 2.5.3集群，MAPREDUCE在纱线中的作业正因错误而失败：
banned.users=hdfs,yarn</em
浏览 10提问于2017-07-12得票数 1
1回答
运行oozie时的Hadoop日志
logging、hadoop、oozie
我正在通过oozie运行一个map-还原作业。我使用的命令如下。oozie job -verbose -oozie http://myoozieurl -config job.properties -run对hadoop和oozie来说都是新手。所以这可能是新手的疏忽。
浏览 1提问于2014-01-31得票数 0
回答已采纳
2回答
YARN:无法找到或加载主类org.apache.hadoop.mapreduce.v2.app.MRAppMaster
hadoop、hive、hdfs、classpath、hadoop-yarn
当我试图在Fedora上执行任何M/R2作业时，我得到了这个异常。Hadoop 2.7.3和2.8.0存在相同的问题。这包括蜂巢。/yarn/*/
浏览 2提问于2017-06-26得票数 1
2回答
hadoop公平调度器和容量调度器均未按预期进行调度
hadoop、configuration、scheduler、cloudera、hadoop-yarn
我使用CDH5.1.0 (hadoop 2.3.0)。2个名称节点(2个32 3x，2个核心)和3个数据节点(3个16 3x，2个核心)mapreduce.reduce.java.opts.ma
浏览 0提问于2014-07-28得票数 0
1回答
在中按顺序运行已提交作业
hadoop、hadoop-yarn、google-cloud-dataproc
我创建了Google集群，其中2名工作人员使用n1-standard-4 VM作为主服务器和工作人员。我希望在给定集群上提交作业，所有作业都应该按顺序运行(如AWS EMR)，也就是说，如果第一个作业处于运行状态，那么接下来的作业将进入待定状态，完成第一个作业后，第二个作业开始运行。我试着在集群上提交作业，但它并行运行所有作业--没有作业进入待定状态。
是否可以在Dataproc集
浏览 0提问于2018-12-19得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
