我已经用python编写了mapper和reducer，当尝试使用unix管道时，它们工作得很好。但是，当使用Hadoop流命令执行时，代码会运行，但作业最终会失败。我怀疑这是Mapper代码中的一些东西，但似乎不能确切地知道问题是什么。 我是一个初学者(所以如果我没有做对任何事情，请原谅)，在VMware融合上使用。我将Mapper和Reduc
浏览 22提问于2019-02-17得票数 1
2回答
我对Hadoop非常陌生，并试图使用运行一个简单的程序。-input /user/hduser/gutenberg/* \-mapper
浏览 6提问于2016-12-30得票数 4
回答已采纳
1回答
我见过一种技术(在stackoverflow上)，可以使用zip文件存储引用的python模块来执行hadoop流作业。inputdatafile.txt | ./mapper.py |排序-k1,1 | ./reducer.py
结果看起
浏览 6提问于2012-09-23得票数 0
回答已采纳
2回答
我使用Hadoop流运行一些Python代码。我已经注意到，如果我的Python代码中有错误(例如，在mapper.py中)，则不会通知我这个错误。相反，映射程序将无法运行，作业将在几秒钟后被终止。查看日志，我看到的唯一错误是mapper.py未能运行或没有找到，显然并非如此。
我的问题是，是否有特定的日志文件可以检查以查看mapper.py代码
浏览 0提问于2013-09-30得票数 2
回答已采纳
我想把这些和Hadoop流一起使用。-file "reducer.exe"知道为什么没有使用mono mapper.exe吗？mapper.exe和reducer.exe具有以下权限：-rwxr-xr
浏览 3提问于2012-11-02得票数 12
我尝试在hadoop集群上运行Dumbo MapReduce命令，但得到以下错误。似乎我需要提供Hadoop streami
浏览 0提问于2015-03-03得票数 0
我正在基于TFX的AI平台管道中运行管道。在计算器出现之前，所有组件都运行良好。它只是不想在数据流上运行，它在Kubeflow pod中运行，所以它失败了，因为那里没有足够的内存。Apache光束配置被设置为与数据流一起运行，因此其他组件，如ExampleGen，StatisticsGen，ExampleValidator都可以在数据流中正常运行。当涉及到Eval
浏览 17提问于2021-05-21得票数 0
因此，我对Hadoop和命令行非常陌生，尽管我以前做过一些编程(作为学生)。我试着在学校机器上运行一些简单的程序(一个教程的一部分)。我以前已经使用过Hadoop命令，并运行了一个不同的简单程序，但是我仍然坚持这个程序。不，这不是作业。只是一个教程，以了解Hadoop命令。说明如下：测试守则虽然采用非分布式的方式，但它模拟<e
浏览 8提问于2015-10-22得票数 0
回答已采纳
2回答
我想我不明白仅仅为了stderr的错误而拥有第二个“流”输出有什么意义？为什么不在常规stdout上出现错误呢？stderr上的错误允许我做什么(基本上为什么stderr是有用的)？
浏览 3提问于2018-06-12得票数 7
回答已采纳
1回答
关于：
为此，我已经安装了localhost MAMP，然后通过运行上存在的4个命令，尝试在MAMP上安装composer。命令1和2是可以的，但是对于命令3，它给我的错误如下：
*无法下载"“文件: SSL操作与代码1一起失败。OpenSSL错误消息:错误:14090086:SSL验证未能启用加密失败打开流:操作<
浏览 7提问于2021-12-24得票数 0
在hadoop流中运行一个简单的python代码是有问题的。我已经尝试了所有的建议，在以前的帖子中，有一个类似的错误，但仍有问题。添加了usr/bin/env python
我在外面运行了代码，更新:我使用以下代码在
浏览 13提问于2017-02-07得票数 1
每当我试图使用Java类文件作为映射器和/或还原程序时，我都会得到以下错误：hadoop@ubuntu:/usr/local/hadoop$ bin/hadoop jar contrib/streaming&#
浏览 6提问于2011-07-22得票数 0
回答已采纳
6回答
我刚开始使用Hadoop。我按照书中的内容编写了一个示例hadoop代码。但是，在执行过程中仍然会出现异常。下面是我得到的代码片段：
harsh@geek hadoop-0.20.2$ hadoop MaxTemperature input/ncdc/sample.txt在线程"main“java.lang.NoClassDefFoundError
浏览 0提问于2010-09-29得票数 0
回答已采纳
Hadoop正在工作，hadoop流正在与python一起工作，mongo适配器正在工作。然而，mongo与python的流示例不起作用。当试图在流/示例/库中运行该示例时，我得到以下错误：
target/mongo-hadoop-streaming-assembly-1.0.1.jar $user@host：~/git/mongo/<e
浏览 0提问于2013-04-09得票数 7
回答已采纳
1回答
Hadoop流命令失败
、、、
我正在尝试将Hadoop流与python脚本结合使用，但不幸的是，我收到了以下错误：14/08/23 13:32:17 INFO streaming.StreamJob: killJob...hadoop<
浏览 0提问于2014-08-24得票数 0
在Ubuntu虚拟机上，我按照Michael的设置了一个单节点集群，这是我编写Hadoop程序的起点。我的程序是用Python编写的，使用Hadoop流。/mapper.py | sort | python ./reducer.py当我在Hadoop中运行它时，它看起来很成功，不会抛出任何异常：
hduser@ubuntu:/usr/local/hadoop$ bin/ha
浏览 14提问于2012-11-18得票数 4
1回答
我的管道在CombineFn中创建大型中间数组。当我和少数工人一起运行时，管道就成功了。当我增加工人的数量时，由于在此步骤中工人的OOM错误，管道会失败。我不完全确定为什么会发生这种情况，但我的最佳猜测是数据流低估了add_input步骤所需的内存量，并创建了太多的累加器。
有什么方法可以为管道提供提示，比如每个累加器都需要X内存吗？我现在正在使用ApacheBeamPythonSDK2.7，但问题仍然存在。
浏览 0提问于2018-10-18得票数 0
回答已采纳
Apache与Hadoop上的Mapreduce相比如何？在哪些方面更好，为什么呢？
浏览 9提问于2015-04-28得票数 14
回答已采纳
1回答
我正在做AWS大数据示例:使用Hadoop流与Python代码进行情感分析(链接如下：)所有操作都很好，“除了”进程失败，因为我无法访问该示例的以下
浏览 0提问于2013-12-31得票数 3
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
