查询yarn上的配置单元的远程flink作业-群集错误:NoClassDefFoundError: org/apache/hadoop/mapred/JobConf
查询yarn上的配置单元的远程flink作业-群集错误:NoClassDefFoundError: org/apache/hadoop/mapred/JobConf
这个错误是由于缺少org/apache/hadoop/mapred/JobConf类引起的。JobConf类是Hadoop MapReduce框架中的一个关键类，用于配置MapReduce作业的参数。
在查询yarn上的配置单元的远程flink作业时，出现这个错误可能是由于以下原因：
- 缺少Hadoop依赖：Flink作业在运行时需要依赖Hadoop的相关类和库。请确保在运行Flink作业之前，已经正确安装和配置了Hadoop，并且Flink的classpath中包含了Hadoop的相关依赖。
- 版本不匹配：Flink和Hadoop的版本不匹配也可能导致这个错误。请确保使用的Flink版本和Hadoop版本兼容，并且在Flink作业提交时指定正确的Hadoop版本。
针对这个问题，可以尝试以下解决方法：
- 检查依赖：确认Flink作业所在的环境中已经正确安装和配置了Hadoop，并且Flink的classpath中包含了Hadoop的相关依赖。可以通过查看Flink作业的启动脚本或配置文件，确认是否正确设置了Hadoop的相关路径和依赖。
- 检查版本：确认使用的Flink版本和Hadoop版本兼容，并且在Flink作业提交时指定了正确的Hadoop版本。可以通过查看Flink和Hadoop的官方文档或版本兼容性矩阵，确认所使用的版本是否兼容。
- 检查作业配置：检查Flink作业的配置文件或命令行参数，确保没有错误的配置项或参数。特别注意与Hadoop相关的配置项，如文件系统类型、Hadoop配置文件路径等。
如果以上方法都无法解决问题，建议参考Flink官方文档、社区论坛或向Flink相关技术支持寻求帮助。
腾讯云相关产品推荐：
- 腾讯云Flink：腾讯云提供的托管式Flink服务，可快速部署和运行Flink作业，支持与腾讯云其他产品的集成。详情请参考：腾讯云Flink产品介绍
- 腾讯云Hadoop：腾讯云提供的托管式Hadoop服务，可快速搭建和管理Hadoop集群，支持大数据处理和分析。详情请参考：腾讯云Hadoop产品介绍
- 腾讯云云服务器：腾讯云提供的弹性计算服务，可用于部署和运行各种云计算应用和作业。详情请参考：腾讯云云服务器产品介绍
相关·内容
1回答
Hadoop JobClient.runJob:无法初始化群集-误导性错误消息(？)和一个建议的解决方案
java、hadoop、mapreduce、cluster-computing、hadoop-yarn
(我现在已经解决了这个问题，在这篇文章的末尾添加了一个依赖项，但是我想知道是否有更好的替代方案，或者我是否遗漏了一些重要的东西？)
尝试运行mapreduce作业时，行
JobClient.runJob(conf)
给出了以下错误堆栈：
Exception in thread "main" java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server address
浏览 0提问于2013-12-18得票数 4
1回答
使用java运行Hadoop map reduce作业时，抛出空指针异常
java、hadoop、hbase、bigdata
先谢谢你...
我运行的是Hadoop版本0.20.0和HBase 0.94。我有一个聚合逻辑，它将运行每晚12点使用调度器。我们正处于不能升级HBase和Hadoop的阶段。运行MapReduce作业时抛出异常，如下所示，
java.lang.NullPointerException
at org.apache.hadoop.conf.Configuration.getLocalPath(Configuration.java:877)
at org.apache.hadoop.mapred.JobConf.getLocalPath(JobConf.java:2
浏览 0提问于2016-01-08得票数 0
1回答
addInputPath中MapReduce驱动程序的错误
hadoop、mapreduce、hadoop-plugins
我正在获取MapReduce驱动程序的MapReduce方法中的错误。错误是
"The method addInputPath(Job, Path) in the type FileInputFormat is not applicable for the arguments (JobConf, Path)"
这是我的司机代码：
package org.myorg;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.h
浏览 5提问于2013-12-12得票数 4
回答已采纳
2回答
mapreduce类中的奇怪错误
java、hadoop、mapreduce
这个错误看似微不足道，但不会消失。我定义了以下类：
import java.io.IOException;
import java.util.Iterator;
import java.util.StringTokenizer;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.F
浏览 5提问于2014-08-19得票数 2
回答已采纳
1回答
Hadoop1.0.4的JobConf v/s配置
java、hadoop、mapreduce
嗨，我是新来的Hadoop，我是FileSystem。我看到了使用WordCount和Configuration的两个不同的例子。他们之间有什么区别。
我研究过JobConf是旧包org.apache.hadoop.mapred的一部分(在0.20.x中不推荐)，但是配置是新包org.apache.hadoop.mapreduce的一部分。但现在在1.0.4中，这是不受欢迎的。
目前，我们有两种方法可以在java中运行映射减少作业，一种是在org.apache.hadoop.mapreduce包中使用(扩展)类，另一种是在org.apache.hadoop.mapred包中实现类。
我想知道：
浏览 2提问于2013-02-19得票数 7
回答已采纳
3回答
hadoop引发无法找到或加载主类org.apache.hadoop.mapreduce.v2.app.MRAppMaster。
hadoop、amazon-s3、distcp
当我运行distcp将数据从s3移动到本地hdfs时，在为复制数据而启动的map还原作业期间会得到此异常：
Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster
我检查了所有可能的在线文章。我的yarn-site.xml文件包含
对于集群的每个节点，我检查并设置了这些变量并指向正确的文件夹，实际上，<property> <name>yarn.application.classpath</name> <
浏览 3提问于2015-08-13得票数 0
1回答
如何从Java向远程纱线集群提交级联作业？
java、hadoop、mapreduce、hadoop-yarn、cascading
我知道，我可以通过将级联作业打包到一个JAR中来提交一个级联作业，详见Cascading用户指南。如果我使用hadoop jar命令手动提交该作业，那么它将在我的集群上运行。
但是，在最初的Hadoop 1级联版本中，可以通过在Hadoop JobConf上设置某些属性向集群提交作业。设置fs.defaultFS和mapred.job.tracker会导致本地Hadoop库自动尝试将作业提交给Hadoop1 JobTracker。但是，在新版本中设置这些属性似乎不起作用。使用级联版本2.5.3 (其中将CDH5列为受支持的平台)提交到一个IPC 5.2.1Hadoop集群将导致在与服务器协商时
浏览 1提问于2014-12-22得票数 0
回答已采纳
2回答
在hadoop中运行多个MapReduce作业
java、hadoop、mapreduce
我想运行一系列map reduce作业，所以最简单的解决方案似乎是jobcontroller。假设我有两份工作，job1和job2。我想在job1之后运行job2。嗯，它面临着一些问题。经过几个小时的调试，我将代码范围缩小到以下几行：
JobConf jobConf1 = new JobConf();
JobConf jobConf2 = new JobConf();
System.out.println("*** Point 1");
Job job1 = new Job(jobConf1);
System.out.println("*** Point 2
浏览 3提问于2010-12-07得票数 5
回答已采纳
1回答
如何在将Flink数据集写入hdfs时创建作业对象
apache-flink
我想写一些数据集给蜂巢。我试过使用hive，但它不支持batchExecute。因此，我修改了它，将其写入hdfs，然后生成hive表。
我尝试使用以下代码编写hdfs：
package test;
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.hadoop.
浏览 0提问于2018-10-31得票数 0
回答已采纳
1回答
mesos hadoop org.apache.hadoop.mapred.JobTracker未启动
java、linux、hadoop、mesos、mesosphere
我在跟踪
On Linux:
$ MESOS_NATIVE_JAVA_LIBRARY=/path/to/libmesos.so hadoop jobtracker
这就产生了以下错误：
弃用:不推荐使用此脚本执行mapred命令。相反，请使用mapred命令。
对不起，已不再支持作业跟踪器命令。您可能会发现类似的功能与“纱线”外壳命令。使用: mapred -config confdir命令，其中命令之一是:管道运行管道作业操作MapReduce作业队列。
获取有关JobQueues类路径的信息，打印运行mapreduce子命令历史性服务器运行作业历史记录服务器所需的类路径作为独立守护进程
浏览 4提问于2015-05-22得票数 0
1回答
如何解决在Mapreduce中执行任务链时参数错误的链表不适用的问题？
eclipse、hadoop、hadoop-streaming、hadoop2、hadoop-partitioning
我正在使用Hadoop1.2.1，eclipse。我试图将三个映射任务链接到一个Mapreduce作业中。在eclipse中编写Mapreduce代码时，我会遇到错误，例如chainmapper不适用于参数，也不能设置inputpath。以下是我的mapreduce代码，
package org.myorg;
import java.io.IOException;
import java.net.URI;
import java.nio.file.FileSystem;
import java.util.StringTokenizer;
import javax.security.aut
浏览 2提问于2014-08-11得票数 1
1回答
hadoop纱线类在相同的jar中没有发现，但是在运行过程中不同的包。
hadoop、jobs、hadoop-yarn
下面是"Hadoop:权威指南2/e“一书的例子。我遇到了一个问题。
我使用了ubuntu12.04，Hadoop2.2.0。我使用eclipse制作了job.jar。类map_reduce.programming.v1.MaxTemperatureReducer在jar中，但包不同。当我运行作业时，我会遇到未找到异常的类。
下面是mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
浏览 5提问于2014-06-05得票数 1
1回答
Hadoop/Rubydoop + Cloud⁹：Found类，但接口是预期的
java、ruby、hadoop、mapreduce、jruby
我想用Rubydoop在维基百科历史转储XML文件上运行Hadoop作业。到目前为止，我成功地加载了⁹的⁹类，并将其映射到一个Ruby中：
module Cloud9
require 'java'
require File.expand_path('../../cloud9-1.5.0.jar', __FILE__)
require File.expand_path('../../hadoop-core-1.2.1.jar', __FILE__)
require File.expand_path('../../commo
浏览 2提问于2013-12-13得票数 0
回答已采纳
1回答
从远程系统提交mapreduce作业时出现异常
java、linux、hadoop、mapreduce、remote-server
我在从远程系统提交mapreduce作业时遇到了异常
13/10/28 18:49:52错误security.UserGroupInformation: PriviledgedActionException as:根PriviledgedActionException输入路径不存在: file:/F:/Workspaces/Test/Hadoop/test
我的hadoop和mapreduce环境是在linux机器上配置的。我从本地Windows PC中提交from计数作业如下：
public static void main(String[] args) throws Excepti
浏览 1提问于2013-10-28得票数 1
回答已采纳
9回答
MapReduce作业挂起，等待分配AM容器
hadoop、mapreduce、hadoop-yarn
我试着运行简单的字数统计作为MapReduce作业。在本地运行时一切正常(所有工作都在Name Node上完成)。但是，当我尝试使用YARN在集群上运行它(将mapreduce.framework.name=yarn添加到mapred-site.conf中)时，作业挂起。
我在这里遇到了一个类似的问题：
作业的输出：
*** START ***
15/12/25 17:52:50 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
15/12/25 17:52:51 WARN mapreduce.JobReso
浏览 8提问于2015-12-26得票数 21
2回答
不能将WholeFileRecordReader转换为org.apache.hadoop.mapred.RecordReader
hadoop、map、casting
我想在Hadoop中创建一个新的数据类型，但是从我的自定义inputformat类中得到了以下错误，下面是我的代码：
错误-无法将WholeFileRecordReader转换为org.apache.hadoop.mapred.RecordReader
代码-
导入java.io.IOException；
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Te
浏览 0提问于2014-06-10得票数 0
8回答
在JobConf中未设置输出目录
map、hadoop、mapreduce
我在下面提到一个简单mapR程序的驱动程序代码
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.JobClient;
import org.apache.hadoop.mapred.JobConf;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hado
浏览 8提问于2012-08-23得票数 1
1回答
mapreduce作业上的容器启动异常
hadoop、mapreduce、hadoop-yarn
我已经设置了一个hadoop集群，其中包含一个主节点和3个datanodes。当我试图在主节点上运行mapreduce作业时，我会得到以下错误：
18/05/23 19:22:59 INFO mapreduce.Job: Task Id : attempt_1527096061793_0001_m_000000_0, Status : FAILED
Exception from container-launch.
Container id: container_1527096061793_0001_01_000002
Exit code: 1
Stack trace: ExitCodeExce
浏览 0提问于2018-05-23得票数 2
回答已采纳
1回答
hadoop 2.4.1中的Dfs和Mapreduce
java、xml、hadoop、mapreduce、port
我正在使用Hadoop2.4.1，当我尝试在Hadoop2.4.1中使用dfs时，一切正常。我总是使用start-dfs.sh脚本来启动，以便在系统datanode、namenode和辅助namenode中启动和运行以下服务--这很好
昨天，我尝试在etc/hadoop/mapred.xml中配置mapred.xml，如下所示
**conf/mapred-site.xml:**
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>l
浏览 3提问于2014-11-19得票数 0
回答已采纳
1回答
Hadoop YARN版本可能的流式命令行选项的完整列表是什么？
hadoop、mapreduce、hadoop-yarn、hadoop-streaming
我浏览了Hadoop网站，找到了以下hadoop流的链接。 https://hadoop.apache.org/docs/current1/streaming.html 但是，我对Hadoop YARN (MRv2)流命令行选项更感兴趣。 如果有人有详尽的列表，你能把它张贴在这里吗？ 如果没有找到，请告诉我以下命令中是否有任何命令行选项是非法的。 yarn jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-streaming.jar \
-D mapred.jab.name="Streaming wordCou
浏览 17提问于2019-02-04得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
