1回答
与mysql/pgsql这样的rdbms相比，zk/etcd在集群协调方面有什么优势？
HA: rdbms现在有同步透明的故障转移和见证。分布式系统可以更好地横向扩展，但我不认为hadoop/kubernetes/等的集群协作具有更高的吞吐量或数据大小需求。所以，呃...zk/etcd为集群协调提供了哪些传统rdbms无法实现的功能？
浏览 1提问于2015-09-27得票数 3
我们有基于ambari的Hadoop集群，因为thrift服务器的性能很差，我们决定用presto替换它。我们当前的Hadoop集群有以下机器960台数据节点机器(基于redhat 7操作系统) presto- Presto (或称PrestoDB)是一个开源的分布式SQL查询引擎，专为对任意大小的数据进行快速分析查询而设计它既支持非关系源，如Hadoop分布式文件系统(HDFS)， 我们安装了新的presto服务器，如下所示:首先，我们安装了操作系统( redhat 7)，总共安装了13台机器，1台机器
浏览 35提问于2019-04-18得票数 1
2回答
我已经设置了Hadoop2.6的单个节点集群，但我需要将zookeeper与其集成在一起。我是一个初学者，以前没有大数据工具的经验。如何设置动物园管理员来协调hadoop集群，以及如何在hdfs上使用hbase？它们是如何结合起来形成生态系统的？
浏览 7提问于2015-08-05得票数 0
回答已采纳
1回答
我刚安装了新版本的hadoop2，我想知道如果我配置了一个hadoop集群，它被启动了，我如何知道数据传输是否失败，是否需要故障转移？
浏览 8提问于2016-09-19得票数 0
回答已采纳
是否可以使用相同的ZooKeeper实例来协调Apache Kafka和Apache Hadoop集群？如果是，ZooKeeper的适当配置是什么？
谢谢!
浏览 1提问于2014-04-08得票数 0
zookeeper，我从一篇文章中读到
Zookeeper manages the entire workflow of starting and stopping various nodes in the Hadoop
浏览 0提问于2014-08-08得票数 1
1回答
隼在Hadoop生态系统中的作用
、、、、
我应该在集群镜像上工作，在这里，我必须将类似的HDFS集群(相同的主服务器和从服务器)设置为现有的集群，并将数据复制到新的集群中，然后运行相同的作业。我读过falcon作为饲料处理和工作流协调工具的文章，它也用于HDFS集群的镜像。有人能启发我什么是猎鹰在Hadoop生态系统中的作用，以及它如何特别有助于镜像。我在这里期待了解所有的因素提供什么，当它是我的Hadoop生态系统(HDP)的一部分。
浏览 5提问于2015-02-24得票数 3
回答已采纳
正如我从各种tuts中读到的，zookeeper有助于协调和同步各种hadoop集群。
目前我安装了hadoop 2.5.0。
浏览 1提问于2014-08-21得票数 1
2回答
Oozie是一个工作流/协调引擎，用于编排Hadoop作业，其中Oozie工作流作业是动作的有向循环图(DAG)。
还有哪些Oozile类似于工作流引擎来管理集群上的作业链？有没有像Oozile这样的通用工作流引擎，能够通过插件或其他方式编排作业、集群？
浏览 1提问于2012-06-05得票数 0
回答已采纳
1回答
我已经在2个namenodes上设置了5个数据节点集群，这是在我的Hadoop2.6.0集群中为高可用性而配置的。我的Presto配置基于1个协调节点和3个工作节点.当我的星系团是一个单一的namenode集群时，我一直在用蜂巢转移来查询。hdfs的问题，如下所示：其中，我的集群是两个或者至少有人告诉我，presto是否支
浏览 0提问于2015-03-20得票数 2
回答已采纳
而hadoop是hdfs (我们的数据所在)，火花工作者根据给他们的任务读取数据。如果我错了，请纠正我。
我还想了解namenode和datanode的角色。datanodes是同一个hadoop节点吗？
浏览 6提问于2016-05-05得票数 1
1回答
为什么google cloud click to deploy hadoop工作流程需要选择本地持久磁盘的大小，即使您计划将hadoop连接器用于云存储？默认大小为500 GB。“在Google Cloud平台上部署Apache HadoopHadoop将部署在单个集群中。创建一个临时部署协调器VM实例来管理集群设置。
Hadoop集群使用云
浏览 7提问于2014-11-23得票数 0
2回答
每周从FTP下载文件到HDFS
、、、、
我希望每周自动将文件从ftp服务器下载到CDH5 hadoop集群中。做这件事最好的方法是什么？
我在考虑一个Oozie协调员的工作，但我想不出一个下载文件的好方法。
浏览 3提问于2014-03-13得票数 5
回答已采纳
1回答
Yarn 教程
Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
浏览 333提问于2018-12-21
1回答
我在Hadoop集群中有一个主节点。它也可以是工作节点，也可以是不能。如何获得用于协调其他节点的主节点的CPU/内存使用情况，以及如何获取用于其工作节点使用的主节点的CPU/内存使用情况？例如，40%的内存或CPU用于其主节点任务(其他工作节点的协调)，30%的内存用于工作节点任务(主节点机器中的工作节点)。有办法知道这个吗？
谢谢。
浏览 2提问于2015-09-29得票数 0
回答已采纳
1回答
在Kerberos中有一个名为"foo“的用户，hadoop集群受到Kerberos的保护。我想让hadoop集群以"foo“的身份运行作业，我该怎么做？什么配置允许hadoop客户端指定kerberos用户帐户名运行，就像hadoop集群'kinit username‘然后运行mapreduce作业一样？仅供参考，hadoop 2.6.0
浏览 2提问于2015-11-03得票数 0
我用腾讯云的学生机在CentOS7的系统上搭建了Hadoop的伪分布式的环境，配置等都正常，datanode，namenode 等进程都正常开启，http的50070也都能正常访问，空间足够，然后用Windows\n".getBytes()); output.close();下面是Hadoop的logs文件夹中hadoop-ma-namenode-spring.log文件的报错
2018-04-19 19:22:42,078
浏览 3962提问于2018-04-19
我有一个Hadoop作业，当输入大量输入文件时，它需要很长时间才能初始化，我不知道为什么。$ hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming.jar -D 'mapreduce.job.name=...'
packageJobJar: [] [/usr/lib/hadoop-mapreduce/hadoop-streaming-2
浏览 0提问于2017-08-08得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
