我用腾讯云的学生机在CentOS7的系统上搭建了Hadoop的伪分布式的环境，配置等都正常，datanode，namenode 等进程都正常开启，http的50070也都能正常访问，空间足够，然后用Windows\n".getBytes()); output.close();下面是Hadoop的logs文件夹中hadoop-ma-namenode-spring.log文件的报错
2018-04-19 19:22:42,078
浏览 3962提问于2018-04-19
Hadoop2.6使用Yarn作为下一代地图减少，同时也是集群管理器。对于集群管理服务，我们还需要使用Hadoop2.6中的ZooKeep2.6吗？我们怎么设置动物园管理员。如何为hadoop集群安装Kafka连接。什么是卡夫卡的消费者和生产者将数据发送到hadoop文件系统。我已经设置了Hadoop2.6单节点集群。接下来，我理解的方法是让动物园管理员和Kafk
浏览 2提问于2015-07-27得票数 4
回答已采纳
几个月来，我一直在使用使用Google脚本创建的Hadoop集群。每次启动机器时，我都必须使用以下命令手动启动Hadoop：cd /home/hadoop/hadoop-install/sbin除了脚本，我还能怎么解决这个问题呢？(集群创建后的第一次引导总是自动
浏览 0提问于2015-12-14得票数 0
1回答
在Kerberos中有一个名为"foo“的用户，hadoop集群受到Kerberos的保护。我想让hadoop集群以"foo“的身份运行作业，我该怎么做？什么配置允许hadoop客户端指定kerberos用户帐户名运行，就像hadoop集群'kinit username‘然后运行mapreduce作业一样？仅供参考，hadoop 2.6.0
浏览 2提问于2015-11-03得票数 0
1回答
我是Hadoop/Mahout的新手，我理解这些概念，但我在将Mahout作业部署到已经设置的计算机集群时遇到了问题。我已经在一台计算机上使用了Mahout，但是我应该怎么做才能使它在已经形成的Hadoop集群上运行呢？我有一个安装了Hadoop 0.20.2和Mahout 0.9的集群，其中包含Hadoop 1.2.1。我应该复制什么jars才能运行包含Mahout调用的代码，或者我还应该做些什么才能让它在Hado
浏览 0提问于2014-10-29得票数 0
我希望将文件从Hadoop集群复制到远程集群。我知道远程名称节点的IP和端口。hadoop -cp hdfs://MyNamespace/path/file hdfs://RemoteNamespace/path/file
但是，如果不配置hadoop_conf_di
浏览 1提问于2018-04-20得票数 0
回答已采纳
我在Eclipse上使用Cascalog。看起来对hadoop的依赖是在项目的project.clj文件中提供的，如下所示如果我必须包含对本地安装的Hadoop单节点集群或一些外部hadoop集群的依赖关系，我应该怎么做？如果它是本地的，我是否应该简单地将
浏览 0提问于2013-09-23得票数 0
1回答
我们有多个使用hive和pig的hadoop集群，将它们整合到一个集群中的最佳方式是什么？在BI中，这是通过构建EDW或MDM方法完成的。hadoop怎么样?有人在考虑这个问题吗？
浏览 4提问于2013-04-11得票数 0
我目前正在使用apache hadoop2.7.1，集群包括1个名称节点和3个数据节点。提前谢谢。
浏览 4提问于2016-02-07得票数 1
我有两个hadoop集群和两个不同的ugi。我想在一个集群中运行hadoop作业，因为队列是空的，但是我还想输出到另一个集群，因为它的hdfs是空的，我该怎么做呢？在hadoop流作业中有没有像distcp一样的方法(我可以设置源ugi和目标ugi)？
非常感谢mutch
浏览 14提问于2018-08-24得票数 0
5回答
这就是Hadoop的工作方式吗？
我为什么要使用Hadoop集群？Hadoop以非常有效的方式将大型数据分发给他们的DataNode。a.服务器a.1 )使用
浏览 3提问于2014-07-27得票数 2
回答已采纳
2回答
我想知道将整个套件转换为Hadoop会花费多少工作成本？下面是一些问题，可以帮助我掌握它。这里也有一些Ajax，这与SQL和Hadoop有什么不同？
在解释与Hadoop有关的任何事情时，请考虑我是初学者。
浏览 3提问于2014-03-27得票数 2
回答已采纳
当Secondary NameNode失败时，hadoop集群会发生什么。
Hadoop集群被认为是单点故障，因为所有的medata都是由NameNode存储的。如果次要名称节点失败，群集将失败或继续运行，那么辅助NameNode怎么办？
浏览 0提问于2014-01-15得票数 1
回答已采纳
1回答
我正在尝试在Amazon Cloud上设置运行一些hadoop MapReduce作业，但我正在努力成功地创建一个集群。我已经下载了ec2文件，有我的证书和密钥对文件，但我相信是AMI给我带来了麻烦。如果我试图运行一个包含一个主节点和n个从节点的集群，我会使用标准兼容的AMI启动n+1实例，然后在终端中运行代码"hadoop-ec2 start cluster name n“。是否已经在amazon机器上安装了hadoop，并且可以访问和更改此文件？
谢谢
浏览 2提问于2011-11-08得票数 0
回答已采纳
亲爱的朋友和学院因此，我将解释这个问题：[root@datanode04 container_e41_1549894743658_0020_02_000002]# pwd
/grid/sdb/hadoop
浏览 0提问于2019-02-13得票数 1
1回答
场景是，我需要处理一个文件(输入)，并且对于每个记录，我需要检查输入文件中的某些字段是否与Hadoop集群中存储的字段匹配。我们的想法是使用MRJob处理输入文件，并使用HIVE从hadoop集群获取数据。我想知道是否可以在MRJob模块内连接HIVE。如果是这样的话，该怎么做呢？我是Hadoop、MRJob和Hive的新手。
请提供一些建议。
浏览 0提问于2016-11-29得票数 0
我已经构建了一个多节点hadoop集群，然后我开始研究mesos和在mesos集群上运行hadoop的能力，所以我的问题是：
1) Should I run hadoop on mesos cluster
浏览 0提问于2015-09-12得票数 0
因此，我目前正在运行数据处理的双集群，一个是Kubernetes集群，另一个是Hadoop集群。
K8s集群在监视方面得到了处理，因为在其上部署Prometheus和Grafana非常容易。然而，对于Hadoop集群，我仍然在寻找一种很好的方法来做到这一点。我们的目标是有一个统一的监控解决方案，所以我认为使用普罗米修斯( Prometheus )是个好主意，因为我对它已经很熟悉了，但看起来它并不是直接的。Hadoop默认情况下通过HT
浏览 9提问于2020-05-25得票数 3
2回答
我使用3个奴隶创建了hadoop集群，使用ambari服务器(Hortonworks)创建了一个主集群。我需要在主计算机上安装mahout 0.9，以便在集群中运行mahout作业。我该怎么做？我正在使用ambari 1.5.1和HDP 2.1。
浏览 3提问于2014-06-10得票数 5
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
