腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
视频
沙龙
2
回答
差异:单节点和多节点
、
我试图在虚拟机中安装Hadoop,我找到了一个教程,解释了如何在多节点集群中安装Hadoop。 所以我的问题是,单节点集群和多节点集群之间有什么区别? (预先谢谢:)
浏览 7
提问于2014-05-19
得票数 1
回答已采纳
3
回答
在我的笔记本电脑上使用虚拟机安装多项式Hadoop集群
、
我有一个windows 7笔记本电脑和,我需要在它上安装hadoop (mutlinode)集群。 我已经做好了以下准备- - 虚拟软件,即virtualbox和vmware播放器。 两个虚拟机,即 Ubuntu -用于Hadoop主和 Ubuntu - for (1X) Hadoop从机 是否有人在您的笔记本上使用虚拟机安装过这样的集群? 如果是,请帮助我安装它。 我搜索过google,但是我不知道如何使用VM在hadoop上配置这个多节点集群? 如何使用VMware或virtualbox在windows 7上运行两个Ubuntu? 我们应该使用相同的Ubuntu版本的VM映
浏览 8
提问于2014-05-09
得票数 4
回答已采纳
2
回答
在openstack中安装Hadoop
、
、
、
我是大数据的新手。我有一个关于hadoop安装的问题。目前我在VirtualBox上使用镜像,但我想在openstack上创建一个集群。起初,我认为我只需要在openstack上实例化一个hadoop镜像,或者安装几个实例并使用hadoop docker镜像。但是我找到了几个Sahara openstack的例子。知道我已经与多个人共享了openstack,是否可以在不经过openstack Sahara的情况下创建hadoop集群?或者不推荐这样做?
浏览 41
提问于2019-03-11
得票数 1
1
回答
windows上的Eclipse和远程群集上的Hadoop
、
、
、
有人能解释一下如何在远程机器上为Hadoop设置开发环境吗?大多数在线教程似乎都集中在本地模式或伪分布式模式上,这涉及到在本地或通过cygwin安装hadoop。我想避免这种情况。理想情况下,我希望通过eclipse将代码推送到远程集群,而不需要在本地计算机上安装hadoop。 我已经有了一个集群,可以通过Eclipse - Hadoop插件访问文件系统,但是如何向远程集群提交作业呢?我应该更改eclipse插件中的哪些参数?(我正确地设置了namenode、作业跟踪器位置,但高级配置显示了datanode目录、datanode位置和许多其他设置)。 谢谢
浏览 2
提问于2014-03-17
得票数 3
1
回答
虚拟机上的Hadoop
、
我正在尝试使用Hadoop和map reduce。为此,我在yahoo提供的虚拟机上的单节点集群上运行Hadoop,并通过eclipse编写代码。我只想知道在虚拟机上运行hadoop的限制或缺点是什么,或者从一开始就开始使用Hadoop的独立安装是明智的。 谢谢 曼尼什
浏览 2
提问于2012-11-27
得票数 0
1
回答
presto +构建将加入现有hadoop群集的presto群集
、
、
我们有hadoop集群,其中包含所有相关组件/服务,如 HDFS YARN mapreduce HIVE Tez pig Zookeeper hadoop clutser包含3台主机机、12台数据节点机和3台kafka 现在,我们希望使用presto对数据源( hadoop集群/配置单元)运行查询 因此我们构建了一个新的presto集群,如下所示 1 presto coordinator 8 presto workers 所有的presto集群机器都是redhat 7.2 现在我们要在所有操作系统上安装presto 但是我们不确定在Linux scratch OS之后,presto是否可以随
浏览 0
提问于2019-05-01
得票数 0
1
回答
hadoop 2节点群集设置
、
谁能告诉我如何创建一个hadoop2节点集群?我有两台虚拟机都安装了hadoop单节点设置正确,请告诉如何形成2节点集群,并提到在高级的that.Thanks正确的网络设置。
浏览 0
提问于2014-08-13
得票数 0
1
回答
适用于多节点Hadoop群集的Windows 7和vmware ubuntu映像- IP地址配置
、
、
我是ubuntu和Hadoop的新手... 我的笔记本电脑上装有Windows7,还有一个Ubuntu VMWare图像(我用VMWare播放器打开)。我的想法是在同一台笔记本上配置多节点hadoop集群。 有没有可能让两个ubuntu镜像分别充当一个虚拟机,这样就可以模拟集群配置(尽管这不是理想的集群)?如果是这样,这两个虚拟机是否能够通信?我是否必须更改IP配置等才能使其正常工作? VM 1 (ubuntu) - Hadoop master VM 2 (ubuntu) - Hadoop slave 作为一个扩展,是否可以让windows7也加入集群? Windows 7 - Hadoop
浏览 1
提问于2012-09-07
得票数 1
回答已采纳
1
回答
使用虚拟机在不同机器上建立Hadoop多节点集群
、
、
我只想知道是否可以在不同的机器上设置多节点集群,但我不想用CentOS或Ubuntu格式化这些系统。我仍然希望通过我在每台机器上安装的虚拟机来保持Windows和安装Hadoop集群。
浏览 8
提问于2022-02-21
得票数 0
1
回答
如何在网络上运行Hadoop程序
、
、
这是我第一次尝试使用Hadoop。我只是在尝试使用一些示例代码。 我已经理解了这个例子,但我想知道这是否可能: 我的计算机上没有安装hadoop (它安装在网络中的另一台计算机上)。我想在我的PC上运行jar,但是我的程序创建的hadoop作业应该在该计算机的集群上运行。hadoop可以这样配置吗?
浏览 0
提问于2014-11-07
得票数 0
2
回答
使用虚拟机在同一台机器上查询Hadoop的多个节点
我是hadoop的新手。我已经在hadoop中实现了一些任务。到目前为止,我是在单节点集群中运行它。我正在考虑转向多节点集群。 如果我使用2个虚拟机在同一系统上配置了多个节点(在两个虚拟机上都安装了Ubuntu ),那么性能可能会提高,或者与在同一台机器上运行时保持不变。 (我认为如果我将在同一台机器上运行多个节点,则执行所需的时间将相同或可能更长,因为所有进程都将在队列中等待执行,因为它们将在同一台机器上运行。我想这是对的吗。如果我错了,请纠正,因为我对此知之甚少) 请尽快告诉我。感谢所有人。
浏览 2
提问于2012-03-13
得票数 0
回答已采纳
1
回答
虚拟机上的文件块复制分配hadoop
、
、
我想尝试实现这篇论文,这是我从IEEE的“虚拟云中的位置感知MapReduce”中得到的。总结如下:8台物理机,每台包含4台虚拟机,每台虚拟机都安装了hadoop hdfs。假设我们有一个包含p台物理机的集群,每个物理机都有一个硬盘,副本数为3。然后从集群外的另一台计算机将n个文件块放入集群或在集群中随机生成n个文件块。该模型是关于特定数据模式的数据模式生成和任务模式生成。每个数据块被放置在托管相同数量的虚拟机的物理机上的概率相同。由于hadoop的策略数据分配是随机的,因此使用hadoop策略可能会出现文件块复制所有堆栈在一个物理机中的数据模式。 所提出的策略是循环分配和蛇形分配,理论上就像
浏览 2
提问于2013-02-23
得票数 0
3
回答
我们如何在Ambari中安装Apache BigTop?
、
、
我正在尝试了解如何通过使用apache big top使用ambari部署hadoop集群 根据最新发布的BigTop1.5: 我的理解是,Bigtop Mpack是作为一个新功能添加的,它使用户能够通过Apache Ambari部署Bigtop组件。 我可以通过命令行安装Bigtop组件,但找不到任何有关如何通过ambari安装这些bigtop hadoop组件的文档。 谁能帮我重定向到一些文档,告诉我如何通过ambari安装各种hadoop组件(bigtop包)? 谢谢,
浏览 296
提问于2021-04-06
得票数 1
4
回答
可用于使用Hadoop/MapReduce框架的群集
、
、
有谁知道任何免费访问的集群,这些集群对公众开放,并且使用Hadoop/MapReduce框架?有很多关于如何使用MapReduce的教程,但是有没有一种方法可以在不使用本地单机并安装所需框架的情况下测试这些示例呢? 谢谢!
浏览 0
提问于2011-03-17
得票数 3
回答已采纳
1
回答
在不同硬件机器中的VM之间安装hadoop集群
、
、
、
我负责向一群人教授Hadoop (比方说5个人),但没有任何可用的硬件。 他们每个人都有一台笔记本电脑,有相当多的内存和处理器。 我想让他们在自己的笔记本电脑之间创建一个Hadoop集群,这个集群将连接到同一个网络。 到目前为止,我想的是: 创建一个具有ubuntu 16预配置的VM映像(我的选择是ubuntu 16 ),以便为集群节点做好准备 让他们每个人在他们的计算机上运行VM。 在这个VM网络上创建一个集群 然而,我有一些锁: 1/是否有可能在不同的机器上创建VM的专用网络,从而将hadoop集群与连接物理机器的网络隔离开来? [2]这种做法可能有什么问题? 3/是否
浏览 1
提问于2018-12-27
得票数 1
回答已采纳
1
回答
集群和单机系统中Hadoop的处理时间
、
、
、
我在相同的hdfs上设置了一个3节点hadoop集群(1个Namenode,2个数据节点)和hbase。每个节点都是在我的windows 8机器上运行的512 MB Ubuntu Virtual box映像(英特尔i5,4 MB,2.4 RAM ) 我已经根据这个博客配置了hbase-hadoop。 我已经写了一个程序,它分析美国人口普查数据,这是大约有500,000条记录(缩减集)。我只是在MAP任务中读取文件(从hdfs),并将其存储在HBASE中。以及稍后基于过滤器来检索数据。 当我在一个独立的(512MB虚拟机) hadoop-hbase中运行该程序时,大约需要23分钟。但是当我在集群
浏览 2
提问于2013-02-22
得票数 0
1
回答
如何使用cloudera演示虚拟机设置hadoop群集
、
cloudera有演示虚拟机我有5台演示虚拟机,如何使用它们设置hadoop集群?我不想使用cloudera管理器,因为它总是导致失败,它告诉我无法获得心跳,我已经尝试了很多次,但最终放弃了。 cloudera没有展示如何使用演示虚拟机设置集群。有谁能给我看一下吗?
浏览 6
提问于2013-02-08
得票数 1
1
回答
管理Hadoop COnfiguration /服务集群的主厨
、
、
、
、
我正在尝试开发用于部署和管理Hadoop集群(特别是MapR)的厨师食谱。 根据我的理解,Chef是以自动化方式安装hadoop集群的一个很好的工具。但是,我不确定Chef如何在安装后帮助管理/更改Hadoop集群的配置,如何将集群构建到集群完全崩溃的状态(在灾难恢复的情况下)。
浏览 0
提问于2014-09-08
得票数 0
回答已采纳
1
回答
“堆大小”对Hadoop Namenode意味着什么?
、
、
、
我试图理解Hadoop集群是否有问题。当我在集群摘要中访问web时,它说: Cluster Summary XXXXXXX files and directories, XXXXXX blocks = 7534776 total. Heap Size is 1.95 GB / 1.95 GB (100%) 我担心为什么这个堆大小公制是100% 请有人解释一下namenode堆大小如何影响集群性能。以及这是否需要修正。
浏览 0
提问于2014-03-06
得票数 3
2
回答
对于单个CDH (Hadoop)群集安装,我应该使用哪台主机?
、
、
我从一台Windows7计算机开始,设置了一个Ubuntu Linux虚拟机which I run using VirtualBox。已经执行了The Cloudera Manager Free Edition version 4,我一直在按照localhost:7180上的提示进行操作。 现在,当提示要求我“为您的CDH集群安装指定主机”时,我被卡住了。我可以单独在linux虚拟机中安装和运行所有Hadoop组件吗? 请帮助我指出正确的方向,我应该指定的主机。
浏览 1
提问于2012-11-07
得票数 5
2
回答
如果我已经使用Ambari安装了Hadoop,那么我可以使用CDH安装第二个Hadoop吗?在同一台机器上
、
、
如果我已经在相同的三台机器上安装了一个安装了Ambari的Hadoop集群,我是否可以再有一个带有CDH的Hadoop集群?如果是,如何将原集群上的数据迁移到新集群?谢谢。
浏览 1
提问于2018-06-07
得票数 0
1
回答
Hadoop Kubernetes上的Dask
、
、
、
、
我已经通过helm chart在我的microk8s kubernetes集群上安装了Hadoop。我想知道如何在这个hadoop集群上的不同机器上创建一个dask集群。我尝试遵循Dask网站上的教程,但一直收到错误,因为它正在寻找本地的yarn/hadoop。如何指向kubernetes上的hadoop才能创建集群?
浏览 0
提问于2020-06-16
得票数 2
1
回答
将Hadoop配置为多节点集群
我在VMware上的centos上安装了Hadoop2.4.1。我应该将Hadoop集群配置为多节点cluster.First,我不知道如何在Hadoop‘集群上构建多个节点。其次,我应该如何配置Hadoop集群上的节点?请一步一步地详细地指导我,特别是在定义节点方面。
浏览 3
提问于2014-12-06
得票数 2
1
回答
hadoop命令为什么不能在google云shell上工作
、
、
在谷歌DataProc中为我的项目创建集群之后,我尝试为Hadoop键入几个命令(比如hadoop fs -ls)。不幸的是,云外壳完全没有看到Hadoop! -bash: hadoop:命令未找到 堆叠溢出的人说: “它不能在Cloud中工作,因为它没有预装Hadoop实用程序。 但我不知道如何安装或者激活它。也许是通过集群创建,但是通过dataproc创建集群却有问题。我是通过云shell来做的。 如何正确使用云shell中的Hadoop命令?
浏览 2
提问于2021-09-19
得票数 0
1
回答
Hadoop一台机器只运行一个任务
、
、
、
、
我目前正在开发一个hadoop程序。该程序被Hadoop终止,因为mapper tasker占用高内存(约7G)。有没有办法让一台机器一次只运行一个任务? 我尝试了下面显示的设置,但它不起作用。该任务已被hadoop终止。 conf.set("mapreduce.tasktracker.reserved.physicalmemory.mb", "7000"); conf.set("mapred.tasktracker.map.tasks.maximum", "1"); 集群使用的是mapr-m3,每台机器都有15.6 70的内存,
浏览 0
提问于2013-08-30
得票数 0
2
回答
Hadoop和Cassandra基准
、
、
、
、
我最近构建了一个带有两个节点的Hadoop - Cloudera cluster和Cassandra集群。我现在想做一些基准,收集一些关于资源使用的数据。我搜索了很多,找到了HiBench和Cassandra压力工具。我不想和其他系统比较,我想用我自己的系统来衡量,但很难想象,我如何才能得到真实和正确的价值。集群由两个虚拟机组成,它们是用KVM创建的。Cassandra在Docker容器中。很难解释,如何分析这个系统,却没有得到虚假的结果。
浏览 2
提问于2016-02-20
得票数 1
回答已采纳
2
回答
为什么JMX报告的JVM堆使用量最大值会随着时间的推移而改变?
、
、
我的JVM堆max在我的hadoop集群的名称节点上配置为8GB。当我使用JMX监视JVM时,所报告的最大值不断波动,如所附图像所示。 我只在hadoop集群中的一个(最活跃的)上看到了这种行为。在其他群集上,所报告的最大值保持在配置值不变。你知道为什么报告的最大值会改变吗? 更新: java版本是"1.6.0_20“。 堆max值在hadoop-env.sh中设置如下行: export HADOOP_NAMENODE_OPTS="-Xmx8G -Dcom.sun.management.jmxremote.port=8004 $JMX_SHARED_PROPS" ps
浏览 8
提问于2012-08-10
得票数 10
1
回答
与单独安装HBase和Hadoop相比,同时安装HBase和Hadoop有什么利弊?
、
、
、
我的意思是,有两个选择: 1.在Hadoop集群上安装HBase,这也是离线计算,所以只有1个hadoop集群。2.安装一个用于离线计算的Hadoop集群,然后再安装一个仅供HBase使用其HDFS的Hadoop集群。 因此,有两个选项:一个是集成集群,另一个实际上是2个集群。 这两个选项的优缺点是什么?
浏览 2
提问于2013-07-11
得票数 1
1
回答
Hadoop资源管理器jdk 8依赖项
、
当我尝试创建单个集群Hadoop环境时,无法加载Node Manager或Resource Manager。从日志中,我得到了错误: Caused by: java.lang.ClassNotFoundException: javax.activation.DataSource Caused by: java.lang.ClassNotFoundException: javax.activation.DataSource at java.base/jdk.internal.loader.BuiltinClassLoader.loadClass(BuiltinClassLoader.ja
浏览 15
提问于2020-01-04
得票数 0
2
回答
在hadoop集群中,是否应该在所有节点上都安装hive?安装Pig
、
我是Hadoop / Pig的新手,我刚刚开始阅读文档。 有很多关于在集群模式下安装Hadoop的博客。 我知道Pig运行在Hadoop之上。 我的问题是: Hadoop安装在所有集群节点上。 我是应该在所有集群节点上也安装Pig,还是只在主节点上安装Pig?
浏览 3
提问于2018-06-11
得票数 0
1
回答
我们如何在开源Spark和Hortonworks的Hadoop沙箱中使用集群?
、
、
我有一个概念上的问题。我下载了Apache Spark和Hortonworks Hadoop Sandbox。据我所知,我们通过将任务分布到多台机器或集群来分析大数据。当客户为其服务付费时,Amazon Web services会为客户提供群集。但是在Spark或Hadoop的情况下,当我简单地下载这些环境时,我使用的是谁的集群?他们说这些环境提供了单节点集群,也就是说,我假设我的计算机本身。但是,如果我被限制在我的计算机本身,我如何分析大数据?简而言之,在我自己的笔记本电脑上使用Spark的逻辑是什么?
浏览 0
提问于2017-03-19
得票数 0
1
回答
GCE上的Hadoop实例
、
、
、
我正在引擎上建立一个Hadoop集群。但我很难理解集群实例将如何工作。我已经找了很多东西,但没有给出明确的答案。 在设置Hadoop集群时,是否创建一个安装了Hadoop的实例的映像,并且每次启动此实例(映像)时都创建其他实例(节点)? 但是,这种方法需要每次创建节点时都必须配置节点? 有没有人有这方面的经验,并能提供一些文档,关于如何在Google引擎上设置Hadoop集群的一部分?
浏览 3
提问于2014-04-28
得票数 1
回答已采纳
2
回答
hadoop是怎么工作的?客户端如何连接到hadoop
、
、
、
我对hadoop有基本的理解。我的问题是客户机/开发人员如何连接到hadoop集群来执行查询。 例如,我是hadoop开发人员。某个远程位置的Hadoop集群。如何连接到hadoop集群来运行我的java代码?我是否也必须在我的笔记本电脑中安装hadoop (为此我必须运行Linux)? 或者,如果我与Hadoop集群在同一个网络中,只需在我的笔记本电脑中挂载共享,并将我的代码放入hadoop集群,是否可以呢? 第二个问题:对于运行java代码,我是否必须对任何数据节点进行SSH,然后运行作业? 以上两个问题一直困扰着我。我没有实时经验。 提前谢谢你!
浏览 4
提问于2014-11-07
得票数 1
回答已采纳
2
回答
kafka - python程序可以连接到hadoop集群之外的Kafka吗?
、
我想写一个python程序,它读取一个文件,并将数据作为一个生产者写入Kafka。Kafka安装在Hadoop集群中,Python将运行在Hadoop集群之外。 可以从外面连接吗?我需要为python安装Kafka库吗?我需要如何安装?
浏览 4
提问于2017-12-16
得票数 3
回答已采纳
2
回答
Hadoop客户端与集群分离
、
、
、
我也是hadoop,linux的新手。我的教授要求我们使用端口映射或VPN分离Hadoop客户端和集群。我不明白这种分离的含义。有人能给我个提示吗? 现在,我了解了集群客户端分离的概念。我认为需要在客户端机器中安装hadoop。当客户端提交一个hadoop作业时,它将提交给集群的主程序。 我有一些天真的想法: 1.创建客户端计算机并安装hadoop。 2.将fs.default.name设置为hdfs://master:9000 3.把dfs.namenode.name.dir设为file://master/home/hduser/hadoop_tmp/hdfs/namenode,对吗? 4.
浏览 1
提问于2016-02-10
得票数 1
回答已采纳
1
回答
在Ubuntu上模拟Hadoop集群
、
、
、
这可能是一个愚蠢的问题。我承认我是hadoop的新手,所以请容忍我。 但, 是否有可能在一个ubuntu安装上模拟NameNode & JobTracker的主节点和DataNode & TaskTracker的多个从节点,而不必有多台笔记本电脑/计算机? 有没有什么办法可以在一个ubuntu安装上模拟多个节点来执行完全分布式的hadoop操作? 如果我的问题中有逻辑上的缺陷和事实上的不准确,我再次道歉。正如我所说的,我是Hadoop的新手。 谢谢..。
浏览 1
提问于2013-09-16
得票数 0
2
回答
动物园管理员和卡夫卡在Hadoop2.6集群中的位置
、
、
Hadoop2.6使用Yarn作为下一代地图减少,同时也是集群管理器。对于集群管理服务,我们还需要使用Hadoop2.6中的ZooKeep2.6吗?我们怎么设置动物园管理员。 如何为hadoop集群安装Kafka连接。什么是卡夫卡的消费者和生产者将数据发送到hadoop文件系统。 他们都在哪里。 我已经设置了Hadoop2.6单节点集群。接下来,我理解的方法是让动物园管理员和Kafka负责数据流到hadoop文件系统。我不知道如何将kafka用于hadoop或其api。
浏览 2
提问于2015-07-27
得票数 4
回答已采纳
1
回答
从eclipse访问Hadoop集群
、
、
我只是按照Hadoop(0.20.2)安装教程进行了设置。我可以通过eclipse在集群上运行map还原程序。现在我的问题是如何从本地系统连接Hadoop集群。本地系统是windows 7,我已经为Hadoop安装了eclipse插件。我试图从本地系统(Windows)连接Hadoop (我的本地系统和Hadoop系统在同一个子网中)。连接到Hadoop服务器时出现了连接超时错误。 在Hadoop的配置文件中,我给出了实际的IP地址。不知道我错过了哪一步?
浏览 1
提问于2011-02-11
得票数 1
2
回答
hadoop安装的不同方法
、
我是hadoop的新手,并试图在我的本地机器上安装它。我发现安装hadoop有很多方法,比如安装vmware Horton works,在上面安装hadoop,或者安装Oracle虚拟盒、Cloudera,然后再安装Hadoop。我的问题是,是否必须安装一个运行Hadoop的虚拟盒?换句话说,hadoop是只在Linux操作系统上运行,如Ubuntu、Redhat等,还是我可以直接在Windows上安装hadoop (没有蚂蚁虚拟盒)?
浏览 4
提问于2015-06-20
得票数 2
回答已采纳
4
回答
火花对纱线概念的认识
、
、
、
我正试图了解星火如何在纱线集群/客户端上运行。我脑子里有一个问题。 是否有必要在纱线簇的所有节点上安装火花?我认为应该是因为集群中的工作节点执行一个任务,并且应该能够解码由驱动程序发送到集群中的代码(火花API)? 它在文档中写道,“确保HADOOP_CONF_DIR或YARN_CONF_DIR指向包含Hadoop集群(客户端)配置文件的目录”。为什么客户端节点在将作业发送到集群时必须安装Hadoop?
浏览 3
提问于2014-07-23
得票数 42
回答已采纳
2
回答
虚拟机上的Hadoop
、
、
、
为了实现可伸缩性,我们希望从MySQL迁移到Hadoop。运行在虚拟机上的hadoop集群会改善我们网站的性能吗? 在虚拟机(ESXi)上实现hadoop集群有哪些优点和缺点?
浏览 0
提问于2011-01-26
得票数 -2
1
回答
仅仅使用Active Directory不足以保护hadoop吗?
、
、
、
、
我试图保护安装在windows中的Hadoop环境。基本上,我开始分析如何保护基于Unix的hadoop集群。已经通过了与Kerberos和其他Apache附加组件(Knox/ Rhino/ Sentry)相关的各种链接。但要检查其中每一个, 同时,找到了关于用户管理(LDAP)的Active。另外,在默认情况下,AD中似乎已经安装了Kerberos。因此,如果AD本身包含LDAP和Kerberos,我们不能单独使用Active Directory来保护hadoop集群吗? 所有这些谷歌建议链接,都建议一个框架来保护公司预先形成的基于Unix的hadoop集群中的任何一个, 授权- Activ
浏览 0
提问于2014-11-21
得票数 0
1
回答
Hadoop和httpfs安装困难
我正在尝试在我的虚拟机中安装hadoop,我可以使用以下命令进行访问: hdfs dfs -ls hdfs://localhost:9000/ 但是当我尝试从另一个虚拟机访问时,使用: hdfs dfs -ls hdfs://hadoop-vm:9000/ 我收到一个“连接被拒绝的错误”。 在浏览器中,我可以访问: http://hadoop-vm:50090 etc 谁能告诉我如何使用hdfs从另一台虚拟机启用访问 另一个问题是我不能安装Hadoop httpfs,我根本找不到任何关于如何下载它的信息。有谁可以帮我?
浏览 1
提问于2016-01-10
得票数 0
1
回答
使用自动化脚本配置AWS集群
、
、
、
我们正在寻找一个自动化脚本的可能性,我们可以给出我们需要多少主节点和数据节点,它将配置一个集群。可能会在属性文件中提供凭据。 目前,我们的方法是登录控制台并配置Hadoop集群。如果能有一种自动化的方法绕过它,那就太好了。
浏览 1
提问于2015-08-10
得票数 0
3
回答
Hadoop客户端节点配置
假设有一个拥有20台机器的Hadoop集群。在这20台机器中,有18台机器是从机,19台机器用于NameNode,20台机器用于JobTracker。 现在我知道hadoop软件必须安装在所有这20台机器上。 但我的问题是,将文件xyz.txt加载到Hadoop Cluster涉及到哪台机器。客户端机器是否是一台独立机器。我们需要在那台clinet机器上安装Hadoop软件吗?客户端机器如何识别Hadoop集群?
浏览 1
提问于2014-03-07
得票数 14
3
回答
在hadoop集群中,是否应该在所有节点上都安装hive?
、
、
我是Hadoop / Hive的新手,我刚刚开始阅读文档。有很多关于在集群模式下安装Hadoop的博客。另外,我知道Hive运行在Hadoop之上。我的问题是: Hadoop安装在所有集群节点上。我是应该在所有群集节点上也安装配置单元,还是只在主节点上安装?
浏览 2
提问于2011-12-10
得票数 17
回答已采纳
1
回答
如何使用本地Windows Box上安装的Apache Nifi实例连接到安装了Hadoop的远程Linux节点?
、
、
我已经在Windows本地系统上安装了Apache nifi 1.1.1。如何使用本地Windows Box上安装的Apache Nifi实例连接到安装了Hadoop的远程Linux节点?另外,如何使用这些Nifi本地实例在安装了Hadoop的远程Linux节点上执行数据迁移活动?我已经在这些远程Hadoop集群上启用了Kerberos。
浏览 0
提问于2017-02-27
得票数 0
2
回答
我们如何知道哪些Hadoop Demons在给定群集中的哪个节点上运行
让我们假设我是一个已经构建的具有多个节点的Hadoop集群的新手,我想知道在这个特定集群的哪个节点上运行了哪些后台程序,有什么方法吗?
浏览 3
提问于2012-11-30
得票数 0
回答已采纳
1
回答
操作系统上的python客户端hadoop沙箱上的X流
、
、
、
、
我想在我的苹果mac上编写mapreduce代码理想情况下使用python在hadoop沙箱(例如Hortonworks或Cloudera)上进行流式传输。 理想情况下,我的开发设置是使用我的Apple Mac python环境& hadoop VM沙箱(后来是同一网络上的集群)。 虽然有很多关于如何从hadoop集群的节点内(例如从NameNode等)连接或流式传输代码的描述,但我不清楚从集群外部做什么。 例如,我假设我需要安装一些hadoop客户端库?我从哪里获得这些库? 我该如何安装它们? 哪种类型的python包效果最好? 我应该使用哪个IP地址来流式传输我的python代码?
浏览 2
提问于2013-12-29
得票数 0
1
回答
如何从windows(安装在Linux服务器上的Hadoop)配置eclipse中的map减少插件
、
、
我正在尝试从一个不是hadoop集群一部分的windows机器连接hadoop集群。基本上,我们在linux服务器机器上安装了hadoop。所以没有GUI可用。因此,我们所要做的就是在windows机器上使用hadoop eclipse插件运行eclipse。并试图从windows机器上运行代码。 我无法弄清楚如何从这台窗口机器到hadoop主节点运行map还原程序。
浏览 2
提问于2012-10-16
得票数 1
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Hadoop2.7.0 集群安装部署
大数据集群服务安装-zk,hadoop,hbase
如何给Hadoop集群划分角色
新手如何快速搭建Hadoop集群
如何使用Mahout在hadoop进行集群分析
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券