1回答
覆盖hadoop用户日志(特定于队列)
hadoop、hive、hadoop2
我有一个hadoop作业，它运行在由300个节点组成的集群中，对于我的作业，我有一个特定的队列来执行作业。作业在生产过程中运行良好，但是它在userlog文件夹下为特定的应用程序id生成了太多的日志，我执行了hadoop命令，并获得了290 GB大小的文件。我可以在syslog中看到太多hadoop日志记录。我对此有一些疑问，如果有人能指导我的话，对我会有很大的帮助-2)-基于hive查询的syslog中的日志(正如我所看到的，所有条目都与Hadoop处理有关，
浏览 5提问于2016-08-25得票数 1
回答已采纳
1回答
nutch hadoop只有一个从站在爬行
hadoop、fetch、nutch
我有一个3-slaves hadoop集群，我在一个网站上执行抓取。但是，只有一个从设备正在执行抓取(尽管其他从设备仍然处于活动状态)。如果只抓取1个域，这是正常行为吗？
浏览 0提问于2012-05-24得票数 0
2回答
并行hadoop作业不会通过
hadoop、mapreduce、hadoop2
我正在运行一个本地hadoop集群，并尝试同时提交两个作业，但是我的第一个作业完成了，而第二个作业没有完成，并且在第一个作业完成之前一直处于未分配状态。我预感到这是一个记忆问题，但是我不能完全弄清楚。下面是我为容器、映射器、reduce、jvm等设置的值。还有什么需要我改的吗？
浏览 0提问于2015-06-02得票数 1
2回答
我使用hadoop集群中的3台计算机，主计算机有3 GB Ram，从计算机有3 GB Ram。我可以更改这个号码吗？
浏览 1提问于2013-01-27得票数 0
1回答
Hadoop是否在块级复制？
hadoop、hdfs、cluster-computing、distcp
集群之间/集群内部的差异是映射-减少作业。我的假设是，它在输入分割级别上复制文件，这有助于提高复制性能，因为一个文件将由多个并行处理多个“片段”的映射程序复制。然而，当我阅读Hadoop的文档时，它似乎只在文件级别上起作用。请参阅此处: hadoop.apache.org/docs/current/hadoop-distcp/DistCp.html
根据distcp，distcp将只拆分文件列表，而不是文件本身，并将列表
浏览 3提问于2017-02-20得票数 2
回答已采纳
2回答
Hadoop客户端与集群分离
hadoop、cluster-computing、vpn、hadoop2
我也是hadoop，linux的新手。我的教授要求我们使用端口映射或VPN分离Hadoop客户端和集群。我不明白这种分离的含义。有人能给我个提示吗？我有一些天真的想法：
1.创建客户端计算机并安装hadoop。2.将fs.default.name设置为hdfs://maste
浏览 1提问于2016-02-10得票数 1
回答已采纳
3回答
地图-通过Oozie减少
hadoop、mapreduce、oozie、oozie-coordinator
如果我使用Oozie来运行MapReduce作业，那么启动多少映射程序有具体的数字吗？是：
一个用于Oozie，一个映射器用于每64 one块(默认块大小)
浏览 5提问于2016-08-02得票数 2
回答已采纳
1回答
JMX导出Mapreduce指标
hadoop、mapreduce、jmx、jmx-exporter
我正在尝试使用JMX导出Hadoop集群的指标。它适用于HDFS和resourceManager。将其添加到HADOOP_OPTS、HADOOP_NAMENODE_OPTS、HADOOP_DATANODE_OPTS和YARN_RESOURCEMANAGER_OPTS。如何导出作业的Mapreduce指标？我想导出作业操作，如映射和缩减。作为下图中显示作业UI的指标： ?
浏览 16提问于2019-06-03得票数 0
3回答
如何在单个JVM中运行hadoop多线程？
hadoop、jvm、mapreduce
我有4个核心的台式机，希望使用hadoop将我的所有核心用于本地数据处理。(例如，有时我有足够的能力在本地处理数据，有时我向集群提交相同的作业)。默认情况下，hadoop本地模式只运行一个映射器和一个reducer，所以我的本地作业非常慢。我不想首先在单机上设置集群，因为“痛苦”的配置，然后我每次都必须创建jar。所以完美的解决方案是如何在一台机器上运行嵌入式Hadoop
PS伪分布式模式是不好的选择，因为它将创建具有单个节点的集群，因此我将只获得一个
浏览 0提问于2012-09-20得票数 2
1回答
Hadoop经典与纱线的比较
hadoop、hadoop-yarn、hortonworks-data-platform
我有两个集群，每个集群运行着不同版本的Hadoop。如果我需要了解纱线如何提供同时运行多个应用程序的能力，我正在开发一个POC，这不是用经典地图还原框架完成的。Hadoop :我有一个wordcount.jar文件，并在一个集群上执行(2个Mappers和2个减法器)。Hadoop :相同的wordcount.jar与不同的集群(4个核心，所以总共4台机器)。由于纱线不预先分配映射器和减速机，任何芯都可以用作映射器或
浏览 2提问于2013-12-13得票数 0
回答已采纳
1回答
在MapReduce Servlet上从动态WildFly项目运行Hadoop WildFly作业
java、eclipse、servlets、hadoop、wildfly
我已经将Hadoop 2.2.0安装在ubuntu13.10上，在我的pc上以伪分布式模式启动并正确运行(只有一个datanode)。我使用EclipseKeplerv4.3和Maven插件来开发我的Hadoop程序和动态without (项目没有Maven)。我有一个名为"HadWork“的Hadoop项目，我用它创建了HadWork.jar (右键单击项目、导出、运行的Jar文件，并选择”将所需的库提取到生成的JAR")。我正在编写Servlet "ServletHadoopTest.java“，但是我不明
浏览 3提问于2014-03-24得票数 0
回答已采纳
4回答
配置Hadoop集群时需要设置多少个映射器/缩减器？
map、hadoop、reduce
配置Hadoop集群时，设置集群映射器/缩减器数量的科学方法是什么？
浏览 0提问于2012-04-05得票数 4
回答已采纳
1回答
减速机取地图芯
hadoop、mapreduce、hadoop-yarn
我正在hadoop集群上运行mapreduce作业，该集群有88个内核和60个减速器。出于某种原因，它只使用了79个集群核心。开始时，它使用79个映射器运行，但当完成一半分割时，它使用53个映射器和26个减速器，运行映射器的数量随后继续减少，从而增加了工作完成时间。日志显示，这26名减速器在复制计算数据。是否有可能让hadoop先运行所有映射器，然后再运行该减速器？就像在火花或tez作业中一样，他们使用所有的核来映射
浏览 1提问于2016-10-01得票数 2
回答已采纳
1回答
如何在windows上安装hadoop2.4.1
windows-7、cluster、hadoop、hdfs、apache-spark
我想在纱线模式下使用hadoop设置一个集群。我想使用spark进行映射-减少，并使用submit来部署我的应用程序。我想在cluster..can上工作，任何人都可以帮助我使用windows在集群中安装HADOOP。
浏览 0提问于2017-03-13得票数 0
1回答
在hadoop中不使用reducer运行WordCount
hadoop、jar、mapreduce、reduce
我安装了hadoop集群环境(Master & Slave)。工作顺畅。
我使用(hadoop.example.jar)文件尝试了wordcount和grep，也运行得很好。现在，我想编辑(hadoop.example.jar)只运行映射器而不运行reducer。有没有办法做到这一点？我读过一些文章，说我必须将setNumReducerTask(0)的值设置为零，但我不知道如何设置？使用(hadoop.example.jar)文件。
浏览 1提问于2015-04-07得票数 0
2回答
Hadoop文件大小说明
hadoop
我正在澄清关于使用Hadoop处理大约200万个大文件的问题。我有一个由200万行组成的文件数据，我希望将每行数据拆分为单个文件，将其复制到Hadoop file System中，然后使用Mahout执行词频计算。
浏览 0提问于2012-04-25得票数 0
回答已采纳
1回答
如何在Hadoop集群上运行Hadoop Streaming？
hadoop、cluster-computing、hadoop-yarn、hadoop-streaming
目前我有一个有3个节点的Hadoop集群(Ubuntu) 我想运行带有Hadoop流的python /R脚本，但是我不确定仅仅执行HS是否真的能使所有节点工作 如果可能，请告诉我在群集上运行流的方向
浏览 21提问于2020-04-25得票数 0
1回答
如何做一个3阶段的Map Reduce流？
python、hadoop、mapreduce、hadoop-streaming
我是hadoop的新手。
目前我有一个映射器，一个缩减器和一个组合器。我可以做cat file | mapper.py | reducer.py | combiner.py来产生结果。那么，如果我有一个hadoop集群，谁能告诉我如何将其应用到hadoop流中？
浏览 0提问于2015-01-30得票数 0
1回答
EC2上的Hadoop流作业仍处于“待定”状态
amazon-ec2、hadoop
尝试在Ubuntu上使用cloudera发行版CDH3对Hadoop和流进行实验。用python写的小流映射器。当我启动一个只有映射器的作业时，请使用：
hadoop jar /usr/lib/hadoop/contrib/streaming/hadoop-streaming*.jar -file /usr/适当地决定它将使用集群</e
浏览 0提问于2011-06-27得票数 0
回答已采纳
2回答
使用Hadoop流进行线程处理
python、multithreading、hadoop、hadoop-streaming、amazon-emr
我正在利用Hadoop流编写一个基于python的HTML抓取器。我发现运行单个线程的python脚本很慢。我想把它修改成多线程版本。有谁知道将映射程序中的线程数设置为什么才是一个好数字吗？我不确定集群每个节点的规范，但我假设它至少支持两个线程。
浏览 2提问于2013-08-06得票数 0
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号