1回答
适用于多节点Hadoop群集的Windows 7和vmware ubuntu映像- IP地址配置
ubuntu、hadoop、cluster-computing
我是ubuntu和Hadoop的新手...有没有可能让两个ubuntu镜像分别充当一个虚拟机，这样就可以模拟集群配置(尽管这不是理想的集群)？如果是这样，这两个虚拟机是否能够通信？我是否必须更改IP配置等才能使其正常工作？VM 1 (ubuntu) -
浏览 1提问于2012-09-07得票数 1
回答已采纳
2回答
星星之火-从外部AWS EMR集群提交
amazon-web-services、pyspark、amazon-emr、spark-submit
我有一个AWS EMR集群运行火花，我想提交一个PySpark作业从我的笔记本电脑(-主纱)，以集群模式运行。我知道我需要在笔记本电脑上设置一些配置，但我想知道最低配置是什么。我是否只需要集群主节点中的一些配置文件？如果是的话，哪一个？或者我需要在本地机器上安装hadoop或纱线？我已经搜索了相当多的答案，但我还不能确定我读到的内容是指从集群的主人或一些任意的笔记本电脑上启动一项工
浏览 0提问于2018-06-07得票数 1
回答已采纳
3回答
hadoop集群中的边缘节点
hadoop、bigdata
有人能给我解释一下hadoop中Edge节点的架构吗？我只能在互联网上找到定义，我有以下问题-
1)边缘节点必须是集群的一部分吗(如果它在集群内，我们有什么优势？)它是否在hdfs中存储任何数据块。2)边缘节点可以在集群外吗？
浏览 5提问于2013-05-22得票数 12
1回答
在不同硬件机器中的VM之间安装hadoop集群
hadoop、virtual-machine、virtualbox、hadoop2
我负责向一群人教授Hadoop (比方说5个人)，但没有任何可用的硬件。
然而，我有
浏览 1提问于2018-12-27得票数 1
回答已采纳
3回答
在我的笔记本电脑上使用虚拟机安装多项式Hadoop集群
hadoop、vmware
我有一个windows 7笔记本电脑和，我需要在它上安装hadoop (mutlinode)集群。
Ubuntu -用于Hadoop主和是否有人在您的笔记本上使用虚拟机安装过这样的集群？
如果是，请帮助我安装它。我搜索过google，但是我不知道如何使用VM在hadoop上配置这个多节点<
浏览 8提问于2014-05-09得票数 4
回答已采纳
2回答
hadoop是怎么工作的？客户端如何连接到hadoop
java、apache、hadoop、hdfs
我对hadoop有基本的理解。我的问题是客户机/开发人员如何连接到hadoop集群来执行查询。
例如，我是hadoop开发人员。某个远程位置的Hadoop集群。如何连接到hadoop集群来运行我的java代码？我是否也必须在我的笔记本电脑中安装hadoop (为此我必须运行Linux)？或者，如果我与Hadoop集群在同一个网络中，只需在我的笔记本电脑中
浏览 4提问于2014-11-07得票数 1
回答已采纳
1回答
Apache安装在RHEL 7上
hadoop、apache-spark、bigtop
我正在寻求帮助，我的任务是在工作中站起一个Hadoop集群。我在家里用开源堆栈在笔记本电脑上做了单个节点的事情(我试图坚持使用开源的Apache堆栈，以避免任何许可费用)。现在，我仍然试图了解它提供了什么(我还没有找到对Hadoop/Spark版本的引用，等等)。我能从以下几个方面得到帮助：
1.2.0版本提供了什么版本的Hadoop/Spark/其他工具？在RHEL 7下从零开始安装完整的Hadoop</em
浏览 4提问于2017-07-25得票数 0
回答已采纳
1回答
如何快速开发、编译、部署HDFS源代码，以便调试？
hadoop、hdfs
有没有什么方法可以快速开发、编译和部署HDFS源代码？我需要你所有的帮助！谢谢！
浏览 2提问于2016-11-28得票数 0
1回答
纱线日志. stdout和stderr变成了巨大的文件--如何避免
log4j、hadoop-yarn、ambari
亲爱的朋友和学院因此，我将解释这个问题：[root@datanode04 container_e41_1549894743658_0020_02_000002]# pwd
/grid/sdb/hadoop
浏览 0提问于2019-02-13得票数 1
1回答
使用cloudera管理器免费版配置hadoop多节点
hadoop、cloudera、cloudera-manager
有没有人能帮我用cloudera管理器免费版配置hadoop多节点？我的要求是一个应该是名称节点，作业跟踪器一个应该是辅助名称节点，6应该是一个数据节点
请帮助配置
浏览 1提问于2013-03-22得票数 0
2回答
如何配置druid批次索引作业动态EMR集群用于批次摄入？
airflow、druid
我试着用气流来自动完成德鲁伊的批次摄入。我的数据管道按需创建EMR集群，并在德鲁伊索引完成后关闭它。但是对于德鲁伊，我们需要在德鲁伊服务器文件夹中配置Hadoop。这阻碍了我的动态电子病历集群。我们是否可以在作业配置中覆盖Hadoop连接细节，或者是否有一种方法可以支持多个索引作业使用不同的EMR集群？
浏览 7提问于2022-01-15得票数 1
回答已采纳
1回答
火花如何处理HADOOP_CONF_DIR？
apache-spark、hadoop
当我们想从Spark连接HDFS时，我们只是将HADOOP_CONF_DIR设置为而不是将各种参数传递给Spark/usrexecutor-memory 1G --num-executors 3 /usr/hdp/current/spark-client/lib/spark-examples*.jar 100
火花如何处理HADOOP</em
浏览 4提问于2020-08-03得票数 1
1回答
使Hadoop以Kerberos用户身份运行
hadoop、mapreduce、hdfs、kerberos
在Kerberos中有一个名为"foo“的用户，hadoop集群受到Kerberos的保护。我想让hadoop集群以"foo“的身份运行作业，我该怎么做？什么配置允许hadoop客户端指定kerberos用户帐户名运行，就像hadoop集群'kinit username‘然后运行mapreduce作业一样？仅供参考，hadoop 2.6.0
浏览 2提问于2015-11-03得票数 0
2回答
无法在amazon emr中使用apache flink
hadoop-yarn、emr、amazon-emr、apache-flink
我得到的错误信息是$ cd flink-0.9.0
$ .Diagnostics: File file:/home/hadoop/.flink/application_1439466798234_0008/flink-conf.yaml does not existjava.io.FileNotFoundException: File file:/home/hadoop/.flin
浏览 4提问于2015-08-13得票数 8
回答已采纳
1回答
通过socks代理将纱线作业提交给远程Hadoop集群
hadoop、proxy、hadoop-yarn
我试图访问一个防火墙Hadoop集群，通过一个SOCKS代理运行纱线。集群本身并不使用代理连接--只有在本地机器上运行的我的客户机(例如笔记本电脑)通过ssh -D 9999 user@gateway-host连接到一台可以看到Hadoop集群的机器上。在Hadoop配置core-site.xml (在我的笔记本上)中，我有以下几行： <name>hadoop.socks.serv
浏览 3提问于2015-07-10得票数 1
回答已采纳
1回答
在hadoop-2.2.0下编写的hadoop程序可以在hadoop-1.2.1中运行吗？
hadoop、version
我的个人电脑里有hadoop-2.2.0，我在这个版本下写了一个程序。现在我需要在一个大集群中测试它，但是在集群机器中的hadoop中是hadoop-1.2.1。当我试图在上面运行我的程序时，会出现一个错误：
org/apache/hadoop/util/ProgramDriver.run([Ljava/lang/String；：java.lang.NoSuchMethodError)我在org.apache.
浏览 2提问于2014-07-18得票数 0
回答已采纳
1回答
如何使用spark和ElasticSearch从/写入不同的elasticsearch集群？
apache-spark、elasticsearch、hdfs、elasticsearch-hadoop、distributed-filesystem
我很高兴地使用了spark和elasticsearch (与elasticsearch-hadoop驱动程序)和几个巨大的集群。有时，我希望将整个数据集群提取出来，处理每个文档，并将它们放到不同的Elasticsearch (ES)集群中(是的，数据迁移也是这样)。目前，无法将ES数据从集群中读取到RDD中，并使用spark + elasticsearch-hadoop将RDD写入另一个RDD中，因为这将涉及从RDD中交换SparkContext。然而，这里出现了一个问题:然后我需要一个
浏览 9提问于2015-03-12得票数 6
回答已采纳
1回答
使用Cloudera设置Hadoop集群的最快方法
hadoop、cloudera
我是Hadoop新手，我需要使用windows机器快速设置Hadoop集群。我知道我可以使用Cloudera来做这件事，但我只是想知道，与其先下载一个虚拟机器，然后用Ubuntu配置它，然后在上面安装CDH4，我能不能只下载一个Cloudera在不同机器上提供的预配置虚拟机，然后将它们联网现在，谁能告诉我，在装有windows的局域网中，使用CDH4在4-5台笔记本电脑上设置集群的最快方法是什么？
浏览 6提问于2013-03-08得票数 4
云服务器
ICP备案
对象存储
实时音视频
云点播
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号