使用MapR MultipleOutputs写入OrcNewOutputFormat时出错
是指在使用MapR的MultipleOutputs类将数据写入OrcNewOutputFormat格式时遇到了错误。
MapR的MultipleOutputs类是Hadoop的一个扩展类，用于将数据输出到多个文件或目录。OrcNewOutputFormat是一种用于存储大规模数据的列式存储格式，具有高压缩比和快速读写的特点。
出现错误可能有多种原因，下面是一些可能的解决方案和建议：
- 检查代码：首先，检查使用MultipleOutputs类的代码是否正确。确保正确设置了输出路径、输出格式和输出键值对等参数。
- 检查依赖：确保项目中包含了正确的MapR和Hadoop依赖。检查版本兼容性，并确保依赖项已正确配置。
- 检查权限：确保对输出路径具有写入权限。如果没有权限，可以尝试更改路径或联系系统管理员获取权限。
- 日志调试：查看错误日志以获取更多详细信息。日志通常会提供有关错误的线索，例如具体的异常信息或错误堆栈跟踪。
- 联系支持：如果以上方法都无法解决问题，建议联系MapR的技术支持团队。他们可以提供更专业的帮助和指导。
关于MapR的MultipleOutputs类和OrcNewOutputFormat格式的更多信息，可以参考腾讯云的相关文档和产品介绍：
请注意，以上答案仅供参考，具体解决方法可能因实际情况而异。
相关·内容
2回答
如何在Hadoop0.20中使用MultipleoutputFormai？
java、hadoop、outputformat
我正在使用Hadoop 0.20，我希望有两个reduce输出文件，而不是一个输出文件。我知道MultipleOutputFormat不能在Hadoop0.20中工作。我将hadoop1.1.1-core jar文件添加到Eclipse中我的项目的构建路径中。但它仍然显示最后一个错误。
下面是我的代码：
public static class ReduceStage extends Reducer<IntWritable, BitSetWritable, IntWritable, Text>
{
private MultipleOutputs mos;
public
浏览 10提问于2013-09-25得票数 1
1回答
在Hadoop中将缩减的数据拆分为输出和新输入
java、hadoop、split、mapreduce
几天来，我一直在四处寻找，试图找到一种方法，使用减少的数据在hadoop中进一步映射。我有A类的对象作为输入数据，B类的对象作为输出数据。问题是，虽然映射不仅会生成B，而且还会生成新的A。
以下是我想要实现的目标：
1.1 input: a list of As
1.2 map result: for each A a list of new As and a list of Bs is generated
1.3 reduce: filtered Bs are saved as output, filtered As are added to the map jobs
2.1 input:
浏览 1提问于2013-01-14得票数 5
回答已采纳
1回答
使用Java的Mapr
java、hadoop、mapr
我对Hadoop、Mapr和Pivotal都很陌生。我编写了java代码，以便编写成关键的代码，但在编写Mapr时却面临问题。
public class HadoopFileSystemManager {
private String url;
public void writeFile(String filePath,String data) throws IOException, URISyntaxException {
Path fPath = new Path(filePath);
String url
浏览 3提问于2013-07-30得票数 1
3回答
将hadoop MultipleOutputs转换为绝对路径，但其他尝试已经创建了文件。
hadoop、mapreduce、multipleoutputs
我使用MultipleOutputs将数据输出到某些绝对路径，而不是相对于OutputPath的路径。
然后，我得到了错误：
错误: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.AlreadyBeingCreatedException)：未能在客户端192.168.7.146上为DFSClient_attempt_1425611626220_29142_m_000035_1001_-370311306_1创建文件/test/convert.bak/326/201505110030/326-m-00
浏览 4提问于2015-05-13得票数 1
回答已采纳
1回答
NiFi moveHDFS处理器似乎什么也不做
hdfs、apache-nifi
只需将文件从一个HDFS dir自动移动到另一个HDFS dir即可。在Apache中使用moveHDFS处理器执行此操作，但是启动处理器时似乎不会发生任何事情。
经过长时间的处理后，处理器度量保持在零。
查看公告板没有显示错误(日志级别设置为INFO)，公告板中唯一的日志输出是：
14:50:04 HSTINFO1e637d0d-0163-1000-7bde-a7993ae403e8
MoveHDFS[id=1e637d0d-0163-1000-7bde-a7993ae403e8] Initialized a new HDFS File System with working dir: f
浏览 1提问于2018-05-04得票数 1
回答已采纳
3回答
完全取消默认输出目录- MapReduce
hadoop、output、hdfs、cloudera
我有一个使用org.apache.hadoop.mapreduce.lib.output.MultipleOutputs编写多个输出的代码。
Reducer将结果写入预先创建的位置，因此我不需要默认的o/p目录(其中包含_history和_SUCCESS目录)。
在再次运行我的作业之前，我每次都必须删除它们。
所以我删除了TextOutputFormat.setOutputPath(job1,new Path(outputPath));行。但是，这给出了(预期的)错误org.apache.hadoop.mapred.InvalidJobConfException: Output directo
浏览 4提问于2013-09-24得票数 0
3回答
调试mahout逻辑回归
hadoop、mahout
我是新手..我正在尝试下面列出的标准“甜甜圈”示例：
所以这个例子的效果很不错。
但是，当我尝试在我的数据集(这是一个巨大的数据集)上实现它时，它不起作用。
数据集位于一个csv文件中。除了它有很多功能(~100)和1TB文件外，一切都是一样的。
我得到了这个错误。
bin/mahout trainlogistic --input /path/mahout_input/complete/input.csv \
--output mahoutmodel --target default --categories 2 --predictors O1 E1 I1 \
--types nume
浏览 0提问于2012-11-16得票数 2
回答已采纳
4回答
将输出写入不同的文件夹hadoop
hadoop、mapreduce
我想写两种不同类型的输出从同一个还原器，到两个不同的目录。
我可以使用hadoop中的多输出特性来写入不同的文件，但它们都会转到同一个输出文件夹。
我希望将每个文件从相同的还原到不同的文件夹。
有办法这样做吗？
如果我尝试将"hello/testfile“作为第二个参数，它将显示invaid参数。所以我不能写到不同的文件夹。
如果上述情况不可能，映射程序是否可以只从输入文件夹读取特定文件？
请帮帮我。
提前感谢！
谢谢你的回复。我可以使用上述方法成功地读取一个文件。但在分布式模式下，我无法做到这一点。在减速机里，我设置了：
mos.getCollector(&
浏览 0提问于2012-07-14得票数 4
回答已采纳
1回答
NiFi ListHDFS找不到目录，FileNotFoundException
apache-nifi
在表单NiFi中设置listHDFS->moveHDFS管道，试图运行我们看到的错误日志管道
13:29:21 HSTDEBUG01631000-d439-1c41-9715-e0601d3b971c
ListHDFS[id=01631000-d439-1c41-9715-e0601d3b971c] Returning CLUSTER State: StandardStateMap[version=43, values={emitted.timestamp=1525468790000, listing.timestamp=1525468790000}]
13:29:21 HSTDEBUG
浏览 0提问于2018-05-04得票数 1
1回答
Gridmix使所有作业失败
hadoop
我正在尝试在Hadoop (2.6.1)上运行Gridmix
我可以在纱线上运行map reduce作业，并运行Rumen来提取要模拟的轨迹，但是我不能进行最后一步并运行gridmix。
如果我检查日志，我发现了一个错误：
{"org.apache.hadoop.mapreduce.jobhistory.TaskAttemptUnsuccessfulCompletion"
{"taskid":"task_1449829849459_0042_m_000000","taskType":"MAP","atte
浏览 2提问于2015-12-11得票数 1
2回答
Talend tHBASEConnection和tHBaseInput for MapR
hbase、talend、mapr
我可以访问MapR Hadoop集群的边缘节点。我有一个名为/app/SubscriptionBillingPlatform/Matthew的HBase表，其中包含一些假数据。在hbase外壳中扫描其结果如下：
我有一个非常简单的Talend作业，它应该扫描表并记录每一行：
下面是tHBaseConnection的配置。我从/opt/mapr/hbase/hbase-0.94.13/conf/hbase-site.xml文件中获得了动物园管理员仲裁和客户端端口：
下面是tHBaseInput的配置：
但是，当我在构建/导出作业并在边缘节点上运行jar文件
浏览 1提问于2014-08-06得票数 3
回答已采纳
2回答
Hbase REST未从MapR DB返回输出
rest、curl、hbase、mapr
我正在尝试使用Hbase rest API查询Mapr表。我使用./hbase-daemon.sh启动了hbase rest服务，并编写了一个小程序来查询我的表，但它似乎不起作用。但是，当我使用curl工具从MapR表中获取数据时，它会给出正确的输出。
下面是我正在使用的java代码：
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hba
浏览 0提问于2015-07-16得票数 1
8回答
在JobConf中未设置输出目录
map、hadoop、mapreduce
我在下面提到一个简单mapR程序的驱动程序代码
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.JobClient;
import org.apache.hadoop.mapred.JobConf;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hado
浏览 8提问于2012-08-23得票数 1
1回答
Hadoop流与java.io.FileNotFoundException失败
python、hadoop、mapreduce、hadoop-streaming
我只编写了一个python还原作业，它接受来自标准输入的数据，并对其进行处理以产生一些输出。当在本地执行时，它可以正常工作。但是，当我试图使用hadoop执行它时，我得到的文件没有找到异常。它无法找到mapper.py文件。另外，下面是我用来运行脚本的命令：
hadoop jar hadoop-streaming-1.1.1.jar -D mapred.reduce.tasks=0 -file "$PWD/mapper.py" -mapper "$PWD/mapper.py" -input "relevance/test.txt" -output
浏览 1提问于2014-06-10得票数 2
2回答
使用JDBC连接器连接到mapR钻取，无一例外
java、spring、spring-boot、mapr
我正在构建一个java应用程序，它从mapR集群中的文件系统(parquet)获取数据。我最初使用的是apache，但是处理非常慢。因此，我决定使用演练jdbc连接方法。
遵循mapR 中的文档
这是我的密码
步骤1；将驱动程序jar放在项目路径中的lib文件夹中，如图所示；
[project directory][1]
[1]: https://i.stack.imgur.com/APsZi.png
step 2;
Imported the jar to my maven pom.xml
<dependency>
<group
浏览 5提问于2020-07-23得票数 0
10回答
如何一次又一次地覆盖/重用Hadoop作业的现有输出路径
hadoop、rewrite、fileoutputstream
当我每天运行Hadoop作业时，我希望覆盖/重用现有的输出目录。实际上，输出目录将存储每天作业运行结果的汇总输出。如果我指定相同的输出目录，它会给出错误“输出目录已经存在”。
如何绕过此验证？
浏览 0提问于2011-10-10得票数 22
3回答
Apache Spark会话：(路径)的IOException: mkdir失败
java、apache-spark、apache-spark-sql、spark-structured-streaming
我正在测试Apache Spark 2.0的新版本，尝试使用结构化的流功能，使用一个非常简单的代码来创建一个包含流数据的数据集，然后打印创建的数据集。这是我的代码：
SparkSession mySession= SparkSession.builder().appName("ProcessData").master("local[*]").config("spark.sql.warehouse.dir","System.getProperty(\"user.dir\")/warehouse").getOr
浏览 1提问于2016-09-29得票数 2
1回答
hadoop启动错误: datanode、tasktracker不会启动和数据复制错误
ubuntu、hadoop、mapreduce
我试图在一个由5台机器组成的(测试)集群上安装Hadoop1.2.1，其中一个节点充当JobTracker、NameNode和备用NameNode。其余的4台机器都是奴隶。
有两个问题。
1)在主/从文件中，分别提供了主/从的IP地址。在从服务器上，主文件是空的，从文件包含自己的IP。
启动hadoop (bin/start-all.sh)时，TaskTracker和DataNode不启动。我将这些机器的主机名放入/etc/ host文件中，并尝试将它们的主机名放入主文件和从文件中。这没什么区别-- TaskTracker和DataNode没有开始。
在启动hadoop服务时，我收到一条消息，
浏览 2提问于2015-04-13得票数 0
回答已采纳
3回答
nameNode不启动-Hadoop-1.0.3ubuntu13.10单节点集群
java、hadoop
我试图在本地机器上设置hadoop单节点集群。我使用以下说明安装hadoop
在启动集群之后，使用
bin/start-all.sh
我从jps获得以下输出
19623 TaskTracker
19388 SecondaryNameNode
19670 Jps
19479 JobTracker
我可以看到，nameNode并不流行。我从/logs目录中取出日志，如
浏览 7提问于2014-01-24得票数 0
1回答
索引错误类Magento\Catalog\Model\Indexer\Category\Product\Action\Full\Interceptor不存在MagentoVersion2.3.5
php、magento、magento2、magento-2.3
索引错误：
Design网格索引已在00:00中成功重建
客户网格索引已在00:00:44中成功重建
类别产品索引器进程未知错误：
Magento\Catalog\Model\Indexer\Category\Product\Action\Full\Interceptor类不存在
产品类别索引器过程未知错误：
Magento\Catalog\Model\Indexer\Category\Product\Action\Full\Interceptor类不存在
目录规则产品索引已在00:00:00中成功重建
Product索引已在00:00中成功重建
日志文件错误：
类\Magento\Catal
浏览 2提问于2022-08-17得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
活动推荐
腾讯云开发者
