查询yarn上的配置单元的远程flink作业-群集错误:NoClassDefFoundError: org/apache/hadoop/mapred/JobConf
查询yarn上的配置单元的远程flink作业-群集错误:NoClassDefFoundError: org/apache/hadoop/mapred/JobConf
这个错误是由于缺少org/apache/hadoop/mapred/JobConf类引起的。JobConf类是Hadoop MapReduce框架中的一个关键类，用于配置MapReduce作业的参数。
在查询yarn上的配置单元的远程flink作业时，出现这个错误可能是由于以下原因：
- 缺少Hadoop依赖：Flink作业在运行时需要依赖Hadoop的相关类和库。请确保在运行Flink作业之前，已经正确安装和配置了Hadoop，并且Flink的classpath中包含了Hadoop的相关依赖。
- 版本不匹配：Flink和Hadoop的版本不匹配也可能导致这个错误。请确保使用的Flink版本和Hadoop版本兼容，并且在Flink作业提交时指定正确的Hadoop版本。
针对这个问题，可以尝试以下解决方法：
- 检查依赖：确认Flink作业所在的环境中已经正确安装和配置了Hadoop，并且Flink的classpath中包含了Hadoop的相关依赖。可以通过查看Flink作业的启动脚本或配置文件，确认是否正确设置了Hadoop的相关路径和依赖。
- 检查版本：确认使用的Flink版本和Hadoop版本兼容，并且在Flink作业提交时指定了正确的Hadoop版本。可以通过查看Flink和Hadoop的官方文档或版本兼容性矩阵，确认所使用的版本是否兼容。
- 检查作业配置：检查Flink作业的配置文件或命令行参数，确保没有错误的配置项或参数。特别注意与Hadoop相关的配置项，如文件系统类型、Hadoop配置文件路径等。
如果以上方法都无法解决问题，建议参考Flink官方文档、社区论坛或向Flink相关技术支持寻求帮助。
腾讯云相关产品推荐：
- 腾讯云Flink：腾讯云提供的托管式Flink服务，可快速部署和运行Flink作业，支持与腾讯云其他产品的集成。详情请参考：腾讯云Flink产品介绍
- 腾讯云Hadoop：腾讯云提供的托管式Hadoop服务，可快速搭建和管理Hadoop集群，支持大数据处理和分析。详情请参考：腾讯云Hadoop产品介绍
- 腾讯云云服务器：腾讯云提供的弹性计算服务，可用于部署和运行各种云计算应用和作业。详情请参考：腾讯云云服务器产品介绍
相关·内容
我想写一些数据集给蜂巢。我试过使用hive，但它不支持batchExecute。因此，我修改了它，将其写入hdfs，然后生成hive表。
我尝试使用以下代码编写hdfs：
package test;
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.hadoop.
浏览 0提问于2018-10-31得票数 0
回答已采纳
我想在不使用EMR集群的情况下运行本地Dynamodb spark作业，该作业从一些表中读取数据并将其写入到parquet / CSV文件中。我没有找到任何支持这一点的火花发电机连接器，也许你有什么想法？
我的代码示例：
import org.apache.hadoop.dynamodb.DynamoDBItemWritable
import org.apache.hadoop.dynamodb.read.DynamoDBInputFormat
import org.apache.hadoop.io.Text
import org.apache.hadoop.mapred.JobConf
im
浏览 37提问于2018-09-05得票数 0
回答已采纳
环境: HDP: 3.1.5(hadoop: 3.1.1，配置单元: 3.1.0)，Flink: 1.12.2 Java代码： public static void main(String[] args) {
EnvironmentSettings settings = EnvironmentSettings.newInstance().useBlinkPlanner().build();
TableEnvironment tblEnv=TableEnvironment.create(settings);
String name = "myhive"
浏览 769提问于2021-10-02得票数 0
回答已采纳
4回答
我使用下面的运行代码运行mapreduce作业，它一直给我以下异常。我确保在开始作业之前删除文件夹，但它不起作用。
守则：
JobConf jobConf = new JobConf( getConf(), MPTU.class );
jobConf.setJobName( "MPTU" );
AvroJob.setMapperClass( jobConf, MPTUMapper.class );
AvroJob.setReducerClass( jobConf, MPTUReducer.class );
long milliSeco
浏览 2提问于2013-08-20得票数 2
回答已采纳
1回答
hadoop3.3.0 flink1.12 hive3.12我想集成hive和flink。在配置sql-client-dqfaults.yaml文件之后，
catalogs:
- name: default_catalog
type: hive
hive-conf-dir: /cdc/apache-hive-3.1.2-bin/conf
我启动了flink sql客户端，但报告了以下错误。
[root@dhf4 bin]# ./sql-client.sh embedded
SLF4J: Class path contains multiple SLF4J bindin
浏览 0提问于2021-01-18得票数 1
(我现在已经解决了这个问题，在这篇文章的末尾添加了一个依赖项，但是我想知道是否有更好的替代方案，或者我是否遗漏了一些重要的东西？)
尝试运行mapreduce作业时，行
JobClient.runJob(conf)
给出了以下错误堆栈：
Exception in thread "main" java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server address
浏览 0提问于2013-12-18得票数 4
我需要在Flink流媒体方面的帮助。下面我制作了一个简单的Hello类型的代码。这会从RabbitMQ中流Avro消息并将其保存到HDFS。我希望有人能检查代码，也许它能帮助其他人。
我为Flink流找到的大多数示例都会将结果发送给std-out。实际上我想把数据保存到Hadoop。我读过，理论上，你可以和Flink一起流到任何你喜欢的地方。实际上，我还没有找到任何将数据保存到HDFS的例子。但是，根据我找到的例子，以及试验和错误，我附带了以下代码。
这里的数据来源是RabbitMQ。我使用客户端应用程序将"MyAvroObjects“发送到RabbitMQ。MyAvroObject.
浏览 8提问于2015-12-28得票数 4
当我试图从齐柏林飞艇中的火花写入HDFS时，我收到了这个org.apache.hadoop.mapred.DirectFileOutputCommitter的ClassNotFoundException
java.lang.RuntimeException: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.mapred.DirectFileOutputCommitter not found
at org.apache.hadoop.conf.Configuratio
浏览 3提问于2015-11-05得票数 1
public int run(String[] args) throws Exception {
/*****************Job for id-title mapping*******************/
JobConf conf_idTitle = new JobConf(PageRank.class);
conf_idTitle.setJobName("first_idTitleMapping");
...
FileInputFormat.setInputPaths(conf_idTitle, n
浏览 0提问于2012-04-13得票数 1
回答已采纳
我正在编写一个MapReduce作业，用于查找使用旧API存储在HDFS中的输入文件中的搜索字符串(通过命令行参数传递)。
下面是我的驾驶课-
public class StringSearchDriver
{
public static void main(String[] args) throws IOException
{
JobConf jc = new JobConf(StringSearchDriver.class);
jc.set("SearchWord", args[2]);
jc.setJobN
浏览 5提问于2014-09-21得票数 0
回答已采纳
先谢谢你...
我运行的是Hadoop版本0.20.0和HBase 0.94。我有一个聚合逻辑，它将运行每晚12点使用调度器。我们正处于不能升级HBase和Hadoop的阶段。运行MapReduce作业时抛出异常，如下所示，
java.lang.NullPointerException
at org.apache.hadoop.conf.Configuration.getLocalPath(Configuration.java:877)
at org.apache.hadoop.mapred.JobConf.getLocalPath(JobConf.java:2
浏览 0提问于2016-01-08得票数 0
我正在尝试构建一个简单的字数统计Hadoop项目()，但是当我单击"Run on Hadoop“时，all...Infact没有任何操作，控制台中也没有显示任何内容。
这是我的项目结构-
这是我的字数统计作业文件..。
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.ma
浏览 0提问于2014-11-20得票数 0
1回答
我试图用org.apache.hadoop.mapred.jobcontrol.*库链接两个作业，而不是传统的作业，但是当我用Hadoop执行我的.jar文件时，它永远不会结束，即使它产生了我期望的正确输出。
我想使用这个库，并且知道如何在第二个作业完成后停止执行。就像我使用了job.waitForCompletion(true)一样，也就像我只执行了一个作业一样。
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapred.*;
import org.apac
浏览 3提问于2014-04-07得票数 0
回答已采纳
3回答
我想用map reduce运行一个简单的字数统计示例。但是我有这个问题，不知道如何解决它。
Exception in thread "main" java.lang.VerifyError: Bad type on operand stack
Exception Details:
Location:
org/apache/hadoop/mapred/JobTrackerInstrumentation.create(Lorg/apache/hadoop/mapred/JobTracker;Lorg/apache/hadoop/mapred/JobConf;)Lorg/
浏览 0提问于2013-12-10得票数 9
我使用"hadoop-0.20.203.0rc1.tar.gz“进行集群设置。每当我设置job.setMapOutputKeyClass(ByteBuffer.class);时
然后运行我得到的如下异常的作业：
12/01/13 15:09:00 INFO mapred.JobClient: Task Id : attempt_201201131428_0005_m_000001_2, Status : FAILED
java.lang.ClassCastException: class java.nio.ByteBuffer
at java.lang.Clas
浏览 0提问于2012-01-13得票数 6
回答已采纳
我在linux机器上安装了伪分布式Hadoop。我用eclipse做了几个例子，它也安装在那台linux机器上，它们工作得很好。现在，我想通过eclipse (安装在windows机器上)执行MapReduce作业，并访问已经存在于我的linux机器上的HDFS。我写了下面的驱动代码：
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.FileInputFor
浏览 2提问于2015-09-29得票数 0
start all.sh
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
start-all.sh: 99: /home/songtian/下载/hadoop-2.6.0/sbin/../libexec/hadoop-config.sh: Syntax error: word unexpected (expecting ")")
我打开hadoop-config.sh，但是在99中没有错误。下一个内容是hadoop-config，第99.行没有错误，我不知道是否理解sh start-al
浏览 6提问于2017-05-12得票数 0
回答已采纳
我尝试使用以下代码使用map-reduce作业连接到mysql数据库。我面临下面的错误，如下所示。我已经在我的代码中放置了检查点，它指示作业的一部分在作业实际运行之前是正确运行的，之后作业失败了……
import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.util.Iterator;
浏览 2提问于2013-03-22得票数 0
我知道org.apache.hadoop.mapred.JobConf.setJobEndNotificationURI可以将回调url注册到hadoop作业，这个任务可以在作业完成后调用，但是在新的mapreduce (我指的是org.apache.hadoop.mapreduce包)中，org.apache.hadoop.mapreduce.Job不包含这样的API。
在新的mapreduce中，setJobEndNotificationURI的等效性是什么？
浏览 3提问于2013-09-04得票数 0
回答已采纳
我正在处理hadoop任务，它之前在目录中填充了几个文件，例如
第-O部-第1部第2部
由于需求，我修改了这个任务，并使用MultipleOutputs来捕获更多的输出。所以现在目录结构看起来就像
部分-0部-1部份-2部份输出-1部份输出2部份3
问题:以前很少有作业使用这个目录作为映射端的外部联接，但是现在作业必须只接受一部分-*文件进行连接，并丢弃其余的文件。
我尝试将输入作为"，“分隔的目录( i.e /part-1，/part-2，*/part-3 )提供。
根据以下表达式jobConf.set("mapred.join.expr"，CompositeInpu
浏览 3提问于2012-03-23得票数 2
回答已采纳
我在scala中使用了Cascading2.0，遇到了一个奇怪的编译问题
这是代码的主要部分
val sojSource = createSojSource(optionMap("input"))
val sinkScheme = createSojScheme(true)
val sink = new Hfs(sinkScheme, optionMap("output"), SinkMode.REPLACE)
var pipe = new Pipe("soj")
val each = new Each(pipe, new SojSample
浏览 2提问于2012-12-06得票数 2
回答已采纳
我正在尝试对Hadoop2.0.4版本进行伪模式配置。脚本start-dfs.sh运行良好。但是，start-mapred.sh无法启动作业跟踪器和任务跟踪器。下面是我正在犯的错误。从错误的角度看，它似乎无法选择jar文件。如果你对这个问题有什么想法，请告诉我。谢谢。
FATAL org.apache.hadoop.mapred.JobTracker: java.lang.NoSuchMethodError: org/apache/hadoop/mapred/JobACLsManager.<init>(Lorg/apache/hadoop/mapred/JobConf;)V
浏览 1提问于2013-09-05得票数 0
回答已采纳
嗨，我是新来的Hadoop，我是FileSystem。我看到了使用WordCount和Configuration的两个不同的例子。他们之间有什么区别。
我研究过JobConf是旧包org.apache.hadoop.mapred的一部分(在0.20.x中不推荐)，但是配置是新包org.apache.hadoop.mapreduce的一部分。但现在在1.0.4中，这是不受欢迎的。
目前，我们有两种方法可以在java中运行映射减少作业，一种是在org.apache.hadoop.mapreduce包中使用(扩展)类，另一种是在org.apache.hadoop.mapred包中实现类。
我想知道：
浏览 2提问于2013-02-19得票数 7
回答已采纳
我是CDH4和Hadoop的新手。
我正在尝试运行wordcountexample，并得到以下错误。你能纠正我并让我知道问题是什么吗：
WordCount.java:25: interface expected here
public static class Map extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> {
浏览 0提问于2013-02-28得票数 0
我正在使用Hadoop1.2.1，eclipse。我试图将三个映射任务链接到一个Mapreduce作业中。在eclipse中编写Mapreduce代码时，我会遇到错误，例如chainmapper不适用于参数，也不能设置inputpath。以下是我的mapreduce代码，
package org.myorg;
import java.io.IOException;
import java.net.URI;
import java.nio.file.FileSystem;
import java.util.StringTokenizer;
import javax.security.aut
浏览 2提问于2014-08-11得票数 1
我有两个映射器类。因此，使用ChainMapper.addMapper方法添加Mapper，使用ChainReducer.setReducer方法设置Reducer。ChainMapper.addMapper方法正常，但Chain.setReducer方法引发语法错误
The method setReducer(Job, Class<? extends Reducer>, Class<?>, Class<?>, Class<?>, Class<?>, Configuration) in the type ChainReducer is
浏览 3提问于2016-04-01得票数 2
我正在尝试连接一个火花壳amazon，但是我一直在尝试给出以下错误，并且不知道如何修复它或配置缺少的内容。
spark.yarn.jars，spark.yarn.archive
spark-shell --jars /usr/share/aws/emr/ddb/lib/emr-ddb-hadoop.jar
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel).
16/08/12 07:47:26 WARN Utils: Service 'Spar
浏览 3提问于2016-08-12得票数 4
我试着用色调来执行mapreduce作业。我得到了以下错误：
Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.MapReduceMain], main() threw exception, Output directory not set in JobConf.
org.apache.hadoop.mapred.InvalidJobConfException: Output directory not set in JobConf.
at org.apache.hadoop.mapred.FileOutput
浏览 2提问于2014-04-04得票数 3
回答已采纳
我正在从AWS控制台(使用Add )启动EMR中的Flink作业，并希望传递JVM参数。根据Flink文档，我们应该按照下面的方式传递args。
flink run -m yarn-cluster -p 2 /home/hadoop/flink-0.0.1-SNAPSHOT.jar -yD env.java.opts="-Dspring.profiles.active=dev -Djob.name=Flink_Job_1 -Dkafka.brokers:<>:9092" -yid application_1591030260237_0047
我有两个问题
flink
浏览 18提问于2020-06-23得票数 0
我正在尝试执行MapReduce作业，并希望定期轮询其状态。我尝试在下面的代码中使用Jobclient类的submitJob(jobConf)方法
JobConf conf = new JobConf(SampleJobClass.class)
JobClient j= new JobClient();
j.setConf(conf);
System.out.println("from conf" +j.getConf().toString());
RunningJob submitJob=j.submitJob(conf);`
我一直在错误堆栈的j.submi
浏览 0提问于2012-12-07得票数 1
回答已采纳
1回答
我正在尝试使用DynamodDB ApacheSpark读取一个表。
以下是我的执行情况：
所以在星火壳牌
spark-shell --jars /usr/share/aws/emr/ddb/lib/emr-ddb-hadoop.jar
import org.apache.hadoop.io.Text;
import org.apache.hadoop.dynamodb.DynamoDBItemWritable
/* Importing DynamoDBInputFormat and DynamoDBOutputFormat */
import org.apache.hadoop.dyn
浏览 3提问于2016-06-20得票数 1
我试图在C++中运行wordcount示例，如下面的链接所描述的那样：。编译工作正常，但当我试图运行程序时，出现了一个错误：
bin/hadoop管道-conf ./dev/word.xml -input testtile.txt -output wordcount-out
11/06/06 14:23:40警告mapred.JobClient:无作业jar文件集。用户类可能不是
找到了。请参见JobConf(类)或JobConf#setJar(字符串)。
11/06/06 14:23:40 INFO mapred.FileInputFormat:处理的总输入路径:1
11/06/06 14
浏览 3提问于2011-06-06得票数 1
回答已采纳
下面的代码来自实践中的Alex : Link：
此mapreduce代码的映射程序从文本文件中读取urls列表，发送HTTP请求并将正文内容存储到文本文件中。
然而，这段代码是基于旧的mapreduce编写的，我希望将其转换为mapreduce的新版本。它可能很简单，比如将JobConf更改为作业+配置，并扩展新的Mapper，但由于某种原因，我无法让它使用我的代码。
为了避免混淆，我宁愿等待发布修改过的代码，但原始代码如下所述：
地图编码：
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Fil
浏览 3提问于2015-05-31得票数 0
1回答
我知道，我可以通过将级联作业打包到一个JAR中来提交一个级联作业，详见Cascading用户指南。如果我使用hadoop jar命令手动提交该作业，那么它将在我的集群上运行。
但是，在最初的Hadoop 1级联版本中，可以通过在Hadoop JobConf上设置某些属性向集群提交作业。设置fs.defaultFS和mapred.job.tracker会导致本地Hadoop库自动尝试将作业提交给Hadoop1 JobTracker。但是，在新版本中设置这些属性似乎不起作用。使用级联版本2.5.3 (其中将CDH5列为受支持的平台)提交到一个IPC 5.2.1Hadoop集群将导致在与服务器协商时
浏览 1提问于2014-12-22得票数 0
回答已采纳
2回答
这个错误看似微不足道，但不会消失。我定义了以下类：
import java.io.IOException;
import java.util.Iterator;
import java.util.StringTokenizer;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.F
浏览 5提问于2014-08-19得票数 2
回答已采纳
当我运行hadoop作业时，它会失败，并显示以下堆栈跟踪：
11/10/06 13:12:49 INFO mapred.FileInputFormat: Total input paths to process : 1
11/10/06 13:12:49 INFO mapred.JobClient: Cleaning up the staging area hdfs://localhost:54310/app/hadoop/tmp/mapred/staging/Har/.staging/job_201110051450_0007
11/10/06 13:12:49 ERROR streamin
浏览 3提问于2011-10-07得票数 1
我有一个如下的MapReduce程序
import java.io.IOException;
import java.util.Iterator;
import java.util.StringTokenizer;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.FileInputFormat;
import org.apache.hadoop.mapred.FileOutputFormat;
import org.apache.hadoop
浏览 0提问于2012-10-08得票数 0
回答已采纳
2回答
我想链接2个Map/Reduce作业。我正在尝试使用JobControl来实现同样的目的。我的问题是-
JobControl需要org.apache.hadoop.mapred.jobcontrol.Job，而后者又需要org.apache.hadoop.mapred.JobConf，后者已被弃用。我如何绕过这个问题来链接我的Map/Reduce？
有没有人对链接有更好的想法(除了级联)。
浏览 2提问于2010-11-13得票数 4
在解析CSV文件时，我在map函数中遇到以下错误。
14/07/15 19:40:05 INFO mapreduce.Job: Task Id : attempt_1403602091361_0018_m_000001_2, Status : FAILED
Error: java.lang.ArrayIndexOutOfBoundsException: 4
at com.test.mapreduce.RetailCustomerAnalysis_2$MapClass.map(RetailCustomerAnalysis_2.java:55)
at com.tes
浏览 0提问于2014-07-15得票数 0
我正在做一项作业，并学习与Hadoop一起工作。我试图使用维基百科页面，但当我试图设置输入格式时，一直会出现错误。这是我的代码：
import java.io.IOException;
import java.util.HashSet;
import java.util.Iterator;
import java.util.Set;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.had
浏览 2提问于2013-11-28得票数 0
我有一个docker-compose与hadoop big-data-europe和Flink1.10和1.4，我试图在单独的容器中启动它们。我使用这个参考YARN Setup，其中有一个示例 示例:发出以下命令，分配10个任务管理器，每个任务管理器具有8 GB内存和32个处理插槽： ./bin/yarn-session.sh -n 10 -tm 8192 -s 32 当我使用flink 1.10版本时，启动yarn会话的Flink集群是可以的，但当版本是1.4时，我得到一个异常： java.lang.RuntimeException: Couldn't deploy Yarn se
浏览 23提问于2020-09-07得票数 0
回答已采纳
我想运行一系列map reduce作业，所以最简单的解决方案似乎是jobcontroller。假设我有两份工作，job1和job2。我想在job1之后运行job2。嗯，它面临着一些问题。经过几个小时的调试，我将代码范围缩小到以下几行：
JobConf jobConf1 = new JobConf();
JobConf jobConf2 = new JobConf();
System.out.println("*** Point 1");
Job job1 = new Job(jobConf1);
System.out.println("*** Point 2
浏览 3提问于2010-12-07得票数 5
回答已采纳
我试图在c++ (Hadoop1.0.4)上运行wordcount示例，在Ubuntu12.04上运行该示例，但我得到了以下错误：
命令：
hadoop管道-D hadoop.pipes.java.recordreader=true -D hadoop.pipes.java.recordwriter=true -input bin/input.txt -output bin/output.txt -program bin/wordcount。
错误消息：
13/06/14 13:50:11警告mapred.JobClient:无作业jar文件集。可能找不到用户类。请参见JobConf
浏览 4提问于2013-06-14得票数 1
在给定input.txt文件中查找最高温度的map-reduce程序中发生此错误。我写了两列，分别是年份和温度。
Exception in thread "main" java.lang.VerifyError: Bad type on operand stack
Exception Details:
Location:
org/apache/hadoop/mapred/JobTrackerInstrumentation.create(Lorg/apache/hadoop/mapred/JobTracker;Lorg/apache/hadoop/mapred
浏览 0提问于2015-02-14得票数 2
我是Hadoop新手，这里我有一个hadoop集群，配置在3台安装了HBase的Linux机器上。我创建了新的表，并使用java程序从使用Eclipse IDE的远程Windows机器扫描数据。现在，我不能远程执行mapReduce作业，因为有一些问题。但问题是，我可以直接在Hadoop集群机器上运行相同的作业，而且它工作得很好。
Hadoop版本: hadoop-2.5.1 Hbase版本: hbase-0.98.3-hadoop2
有没有人能告诉我，实际上我应该如何远程运行该作业。
在Eclipse中，配置设置如下：
static Configuration conf = HBaseCon
浏览 1提问于2015-04-09得票数 0
2回答
未找到映射器类
、、
有时我的MR工作会抱怨找不到MyMapper类。我必须让job.setJarByClass(MyMapper.class)；告诉它从我的jar文件中加载它。
cloudera@cloudera-vm:/tmp/translator$ hadoop jar MapReduceJobs.jar translator/input/Portuese.txt translator/output 13/06/13 03:36:57警告mapred.JobClient:未设置作业jar文件。可能找不到用户类。请参见JobConf(类)或JobConf#setJar(字符串)。13/06/13 03:36:5
浏览 0提问于2013-06-14得票数 3
回答已采纳
我正在尝试将数据从teradata导出到hadoop。但是我的导出查询失败了，因为我给出了一个错误"Failed to write data".Please看看下面的Mapreduce和应用程序日志：
Log Type: syslog
Log Upload Time: Tue Mar 08 22:59:27 -0800 2016
Log Length: 4931
2016-03-08 22:47:07,414 WARN [main] org.apache.hadoop.metrics2.impl.MetricsConfig: Cannot locate configuratio
浏览 0提问于2016-03-09得票数 1
我试着在五旬斋5上执行地图缩减。对于五旬节5，五旬节应用程序是为ApacheHadoop0.20.2预先配置的，它说这个版本不需要进一步的配置。我使用cygwin在windows上安装了Hadoop0.20.2，一切正常。我在戊the上运行了一个简单的作业，它在HDFS中复制文件，成功完成，文件系统被复制到HDFS中。但是，当我运行map reduce作业时，它就会说作业是在宾得完成的，但是映射减少任务失败了，在HDFS上的输出目录中，结果丢失了，日志文件说：
错误: java.net.URLClassLoader$1.run(URLClassLoader.java:366) at java
浏览 3提问于2013-12-13得票数 0
mapreduce程序中出现的两个问题
java.io.IOException: wrong value class: class org.apache.hadoop.io.IntWritable is not class org.apache.hadoop.io.Text
java.lang.ArrayIndexOutOfBoundsException: 4
我已经将map输出键和值类设置在其他帖子中，但仍然无法解决这两个问题。对于第二个问题，我专门测试了map中的代码集，这是导致问题的原因，在一个简单的文件读取程序中是正确的。
作为参考，这是问题1的全部输出。
Error:
浏览 1提问于2018-07-10得票数 4
当我试图执行ADF Hive活动时，我得到了下面的错误。当我直接在HDInsight集群上运行Hive查询时，它工作得很好。但在ADF活动中运行时，它正在失败。我做了很多尝试和错误，但问题仍然存在。有人知道什么是问题吗？
WARNING: Use "yarn jar" to launch YARN applications.
17/02/09 06:09:45 INFO impl.TimelineClientImpl: Timeline service address: http://headnodehost:8188/ws/v1/timeline/
17/02/09 06:0
浏览 1提问于2017-02-09得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
