混合hadoop集群

文章/答案/技术大牛

发布

1回答

linux、windows、hadoop、cluster-computing

在hadoop集群中是否可以有windows和linux(centos，rhel)数据节点。混合集群需要哪些配置设置？尊敬的hadoop用户

浏览 23提问于2016-07-19得票数 1

1回答

将数据格式写入拼花格式时出错

python、pandas、dataframe、pyspark、parquet

not found at org.apache.hadoop.fs.s3a.S3AFileSystem.initialize(S3AFileSystem.java

浏览 67提问于2022-07-12得票数 0

2回答

如何在hadoop配置中使用amazon实例的公共in？

hadoop、ssh、amazon-ec2、hbase、apache-kafka

我试图通过使用amazon实例的公共is来配置Hadoop，而不是使用网络内部的is，因为我的目标是创建一个混合集群，即云+本地机器集群。尽管所有ssh设置都很好，但当使用amazon公共is时，Hadoop仍然无法连接( datanodes找不到namenode)。那么，为什么HBase连接而Hadoop不连接呢？卡夫卡也有同样的问题。

浏览 4提问于2016-02-09得票数 0

回答已采纳

3回答

hadoop集群中的边缘节点

hadoop、bigdata

有人能给我解释一下hadoop中Edge节点的架构吗？我只能在互联网上找到定义，我有以下问题- 1)边缘节点必须是集群的一部分吗(如果它在集群内，我们有什么优势？)它是否在hdfs中存储任何数据块。2)边缘节点可以在集群外吗？

浏览 5提问于2013-05-22得票数 12

1回答

星火流需要使用Kafka的HDFS吗？

apache-spark、pyspark、apache-kafka、spark-streaming

混乱列表：在这种情况下，我的方法是合适的还是最好的呢？

浏览 0提问于2020-07-16得票数 1

1回答

在混合操作系统上设置Hadoop集群

hadoop

这样的混合环境可以搭建hadoop集群吗？诚挚的问候,

浏览 3提问于2012-07-06得票数 0

回答已采纳

1回答

火花/纱线-并非所有节点都用于火花提交

hadoop、apache-spark、hadoop-yarn、hadoop2、namenode

我有一个星火/纱线集群与3个奴隶安装在AWS上。我激发-提交一个类似于这样的作业：~/spark-2.1.1-bin-hadoop2.7/bin/spark-submit --master yarn --deploy-mode cluster my.py，最后的结果是一个文件，其中包含集群中所有奴隶的所有主机名。我本来希望在输出文件中得到一个混合主机名，但是，我在输出文件中只看到一个主机名。这意味着纱线永远不会利用集群中的其他奴隶。，我是不是在配置中遗漏了什么？<

浏览 3提问于2017-05-28得票数 0

1回答

通过'1 Click Installer‘更新Community Edition中的单个CDH组件

hadoop、cloudera-cdh

hadoop-hdfs hadoop-hdfs-secondarynamenodehadoop-hdfs-zkfc hadoop-mapreduce hadoop-mapreduce-historyserver hadoop-yarn hadoop-yarn-nodemana

浏览 2提问于2017-12-20得票数 0

1回答

在MapReduce Servlet上从动态WildFly项目运行Hadoop WildFly作业

java、eclipse、servlets、hadoop、wildfly

我已经将Hadoop 2.2.0安装在ubuntu13.10上，在我的pc上以伪分布式模式启动并正确运行(只有一个datanode)。我使用EclipseKeplerv4.3和Maven插件来开发我的Hadoop程序和动态without (项目没有Maven)。我有一个名为"HadWork“的Hadoop项目，我用它创建了HadWork.jar (右键单击项目、导出、运行的Jar文件，并选择”将所需的库提取到生成的JAR")。当从命令行运行作业时，它可以正常工作："Hadoop HadWork

浏览 3提问于2014-03-24得票数 0

回答已采纳

1回答

多节点hadoop集群和在mesos上运行hadoop有什么区别？

hadoop、mesos

我已经构建了一个多节点hadoop集群，然后我开始研究mesos和在mesos集群上运行hadoop的能力，所以我的问题是： 1) Should I run hadoop on mesos cluster

浏览 0提问于2015-09-12得票数 0

2回答

什么是hadoop (单点和多点)节点，火花主节点和火花工作者？

apache-spark、hadoop、hdfs

而hadoop是hdfs (我们的数据所在)，火花工作者根据给他们的任务读取数据。如果我错了，请纠正我。我还想了解namenode和datanode的角色。datanodes是同一个hadoop节点吗？

浏览 6提问于2016-05-05得票数 1

1回答

我们能在集群中混合MTU值吗？

linux、networking、network-interface、hadoop

我们有hadoop集群(所有机器都是linux机器7.x版)我们使用VM MTU=8900，因为我们看到了MTU=9000我的问题是： MTU=9000和MTU=8900的混合剂量是个问题吗？

浏览 0提问于2018-06-25得票数 0

回答已采纳

2回答

我们能在集群中混合MTU值吗？

linux、networking、hadoop、mtu、jumboframes

我们有hadoop集群(所有机器都是linux机器7.x版)我们使用VM MTU=8900，因为我们看到了MTU=9000我的问题是： MTU=9000和MTU=8900的混合剂量是个问题吗？

浏览 0提问于2018-06-25得票数 1

1回答

远程桌面在Azure上的Hadoop上不工作

azure、hadoop

我可以通过输入我的Windows Live ID在Windows Azure上分配Hadoop群集，但在此之后，我无法在那里的主节点上执行远程桌面。在创建集群之前，它显示了一条消息，上面写着“微软已经从Hadoop那里得到了来自Azure用户的压倒性的积极反馈，因此它给了2个从节点5天的免费试用。”

浏览 1提问于2012-07-27得票数 0

1回答

纱线日志. stdout和stderr变成了巨大的文件--如何避免

log4j、hadoop-yarn、ambari

亲爱的朋友和学院因此，我将解释这个问题：[root@datanode04 container_e41_1549894743658_0020_02_000002]# pwd /grid/sdb/hadoop

浏览 0提问于2019-02-13得票数 1

1回答

为什么在mapred-site.xml Hadoop2上有一个mapreduce.jobtracker.address属性

hadoop、mapreduce、bigdata、hadoop-yarn、hadoop2

YARN是Hadoop的第二代，它不再使用jobtracker守护进程，而是使用资源管理器。但是为什么在mapred-site.xml Hadoop2上会有一个mapreduce.jobtracker.address属性呢？为了从Eclipse中运行Hadoop应用程序，有没有一个yarn的插件eclipse，因为我发现所有的插件都是专门为jobtracker设计的。提前谢谢。

浏览 6提问于2015-05-12得票数 0

1回答

纱线-site.xml丢失

linux、hadoop、mapreduce、hadoop-yarn

我正在尝试安装hadoop-2.2.0。我使用了以下命令在此之后，我必须更改HADOOP中的文件。第一个问题是&

浏览 0提问于2015-02-06得票数 0

1回答

混合Datastax Enterprise和Cassandra社区

cassandra、datastax-enterprise

我正在试验Datastax Enterprise，并尝试创建一个混合了Enterprise节点和标准Cassandra社区节点的集群。我只需要几个具有Solr等高级功能的节点，如果所有节点都在同一个集群中，那就太好了。我尝试将社区节点引导到测试企业集群，但它不能正确地加入环，抛出像这样的异常：'com.datastax.bdp.hadoop.cfs.compaction.CFSCompactionStrateg

浏览 0提问于2012-10-13得票数 3

回答已采纳

1回答