腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
视频
沙龙
1
回答
仅仅使用Active Directory不足以保护hadoop吗?
active-directory
、
security
、
ldap
、
kerberos
、
hadoop
我试图保护安装在windows中的Hadoop环境。基本上,我开始分析如何保护基于Unix的hadoop集群。已经通过了与Kerberos和其他Apache附加组件(Knox/ Rhino/ Sentry)相关的各种链接。但要检查其中每一个, 同时,找到了关于用户管理(LDAP)的Active。另外,在默认情况下,AD中似乎已经安装了Kerberos。因此,如果AD本身包含LDAP和Kerberos,我们不能单独使用Active Directory来保护hadoop集群吗? 所有这些谷歌建议链接,都建议一个框架来保护公司预先形成的基于Unix的hadoop集群中的任何一个, 授权- Activ
浏览 0
提问于2014-11-21
得票数 0
1
回答
hadoop命令为什么不能在google云shell上工作
shell
、
hadoop
、
cloud
在谷歌DataProc中为我的项目创建集群之后,我尝试为Hadoop键入几个命令(比如hadoop fs -ls)。不幸的是,云外壳完全没有看到Hadoop! -bash: hadoop:命令未找到 堆叠溢出的人说: “它不能在Cloud中工作,因为它没有预装Hadoop实用程序。 但我不知道如何安装或者激活它。也许是通过集群创建,但是通过dataproc创建集群却有问题。我是通过云shell来做的。 如何正确使用云shell中的Hadoop命令?
浏览 2
提问于2021-09-19
得票数 0
1
回答
Hadoop 2.x多节点群集安装
hadoop
、
cluster-computing
、
hadoop-yarn
我是hadoop的新手。我在网上找到了一些关于安装Hadoop2.x多节点集群的链接。我的疑问是,在所有节点上安装JVM、创建相同的用户名、ssh配置、在所有节点上进行配置之后,如何将客户机连接或配置到集群,以便将数据从本地复制到hdfs?
浏览 1
提问于2016-02-07
得票数 0
1
回答
将Hadoop配置为多节点集群
hadoop
我在VMware上的centos上安装了Hadoop2.4.1。我应该将Hadoop集群配置为多节点cluster.First,我不知道如何在Hadoop‘集群上构建多个节点。其次,我应该如何配置Hadoop集群上的节点?请一步一步地详细地指导我,特别是在定义节点方面。
浏览 3
提问于2014-12-06
得票数 2
2
回答
如果我已经使用Ambari安装了Hadoop,那么我可以使用CDH安装第二个Hadoop吗?在同一台机器上
hadoop
、
cloudera-cdh
、
ambari
如果我已经在相同的三台机器上安装了一个安装了Ambari的Hadoop集群,我是否可以再有一个带有CDH的Hadoop集群?如果是,如何将原集群上的数据迁移到新集群?谢谢。
浏览 1
提问于2018-06-07
得票数 0
1
回答
在AWS GeoServer上在GeoMesa HBase上设置S3
geoserver
、
geomesa
我正在运行。我能够从集群内部摄取/导出数据,包括geomesa hbase,吃/导出,但我试图远程访问这些数据。我已经安装了GeoServer (如果相关的话,安装在GeoMesa运行的主节点上),但我很难为GeoServer提供正确的JAR来访问GeoMesa。我可以找到我应该提供给GeoServer 的罐子列表,但是我不知道如何或者在哪里收集它们。我尝试过使用/opt/geomesa/bin文件夹中的install-hadoop.sh & install-hbase.sh脚本来将HBase、Hadoop和Zookeeper安装到GeoServers的WEB/lib文件夹中,但是如果
浏览 5
提问于2021-01-26
得票数 0
回答已采纳
2
回答
差异:单节点和多节点
hadoop
、
bigdata
我试图在虚拟机中安装Hadoop,我找到了一个教程,解释了如何在多节点集群中安装Hadoop。 所以我的问题是,单节点集群和多节点集群之间有什么区别? (预先谢谢:)
浏览 7
提问于2014-05-19
得票数 1
回答已采纳
2
回答
动物园管理员和卡夫卡在Hadoop2.6集群中的位置
hadoop
、
apache-zookeeper
、
apache-kafka
Hadoop2.6使用Yarn作为下一代地图减少,同时也是集群管理器。对于集群管理服务,我们还需要使用Hadoop2.6中的ZooKeep2.6吗?我们怎么设置动物园管理员。 如何为hadoop集群安装Kafka连接。什么是卡夫卡的消费者和生产者将数据发送到hadoop文件系统。 他们都在哪里。 我已经设置了Hadoop2.6单节点集群。接下来,我理解的方法是让动物园管理员和Kafka负责数据流到hadoop文件系统。我不知道如何将kafka用于hadoop或其api。
浏览 2
提问于2015-07-27
得票数 4
回答已采纳
2
回答
Hadoop Mapreduce在启用权限管理后失败
hadoop
、
mapreduce
、
posix
、
hdfs
我在我的hadoop集群中启用了权限管理,但我在使用pig发送作业时遇到问题。这是一个场景: 1-我有hadoop/hadoop用户 2-我有myuserapp/myuserapp用户运行猪脚本。 3-我们将路径/myapp设置为属于myuserapp 4-我们将pig.temp.dir设置为/myapp/pig/tmp 但是当我们尝试运行这些作业时,我们得到了以下错误: job_201303221059_0009 all_actions,filtered,raw_data DISTINCT Message: Job failed! Error - Job initializ
浏览 2
提问于2013-03-26
得票数 1
1
回答
Hadoop DFS正在指向当前目录
hadoop
、
hdfs
几个月前,我们在本地机器上安装了CLoudera Hadoop3,一切正常。最近,我们还安装了Whirr来开始使用集群。虽然我们遇到了一些问题,但过了一段时间,我们可以启动一个集群,登录到它的主节点并开始工作。然而,我最近发现,当我输入: hadoop dfs -ls 到我们的本地机器中,它现在显示我所在的当前目录中的所有内容,而不是DFS的内容。这在过去是不会发生的,所以我们认为安装Whirr的时候出了点问题。 是什么导致了这种情况,更重要的是,我们如何才能让本地hadoop dfs指向正确的位置?
浏览 0
提问于2011-01-24
得票数 1
1
回答
在Mac上设置Hadoop客户端
hadoop
、
osx-mavericks
、
cloudera-cdh
目前,我有使用MRv1运行CDH5.0的3节点集群.我正在努力弄清楚如何在我的Mac上安装Hadoop。因此,我可以向集群提交作业。根据“在CDH 5中管理Hadoop依赖项”,您只需要/usr/lib/hadoop/client-0.20/*中的文件--我也需要以下文件吗?Cloudera在tarball中有hadoop-client吗? - core-site.xml - hdfs-site.xml - mapred-site.xml
浏览 3
提问于2014-04-17
得票数 2
回答已采纳
2
回答
"hadoop -format“命令中的权限拒绝错误
14.04
、
bash
、
permissions
、
hadoop
我正在尝试使用本教程安装单个节点hadoop集群。 我遵循了上面提到的所有步骤,但是我无法使用命令hadoop namenode -format格式化namenode。 它给出了这个错误: bash: /usr/local/hadoop/bin/hadoop: Permission denied
浏览 0
提问于2015-05-24
得票数 1
2
回答
Hadoop:找不到start-dfs.sh start-mapred.sh脚本
scripts
、
14.10
、
configuration
、
hadoop
我安装了Hadoop 通过遵循本教程。 我用ppa安装的。 当我到达步骤12 :启动Hadoop集群时。 我被卡住了。 当我做cd ~/tasdik/hadoop/bin/时,它说没有这样的文件或目录。 有什么建议吗?
浏览 0
提问于2015-02-27
得票数 4
回答已采纳
4
回答
火花对纱线概念的认识
hadoop
、
apache-spark
、
hdfs
、
hadoop-yarn
我正试图了解星火如何在纱线集群/客户端上运行。我脑子里有一个问题。 是否有必要在纱线簇的所有节点上安装火花?我认为应该是因为集群中的工作节点执行一个任务,并且应该能够解码由驱动程序发送到集群中的代码(火花API)? 它在文档中写道,“确保HADOOP_CONF_DIR或YARN_CONF_DIR指向包含Hadoop集群(客户端)配置文件的目录”。为什么客户端节点在将作业发送到集群时必须安装Hadoop?
浏览 3
提问于2014-07-23
得票数 42
回答已采纳
1
回答
没有HDFS存储的Hadoop Namenode
hadoop
、
cluster-computing
、
biginsights
我已经安装了一个hadoop集群,共有3台机器,其中2个节点充当数据节点,1个节点充当Namenode,以及一个Datanode。我想澄清关于hadoop集群安装和体系结构的某些疑问。这是我正在寻找答案的问题清单 我在集群中上传了一个大小约为500 in的数据文件,然后检查了hdfs报告。我注意到,我制作的namenode在hdfs中也占据了500 am大小,还有复制因子为2的数据节点。这里的问题是,我不希望namenode存储任何数据,简而言之,我不希望它作为datanode工作,因为它也在存储我正在上传的文件。那么,如何使它只充当主节点而不像datanode呢? 我尝试在Nam
浏览 0
提问于2014-06-11
得票数 1
回答已采纳
1
回答
如何检查Hadoop中多节点集群中/user/hadoop分区的磁盘使用情况
hdfs
我正在寻求帮助,谁可以澄清我的怀疑。我已经设置了5节点集群环境。我已经在linux机器上安装了hadoop。 现在,我需要检查每个machine.How中HDFS分区/用户/hadoop的磁盘空间来检查它。 在哪个分区中,逻辑volume..Physicallly这个hdfs /user/hadoop分区被分配。 是否可以在集群机器中执行cd /user/hadoop操作。
浏览 3
提问于2014-02-20
得票数 0
1
回答
如何在重启后在hdfs中获取我的文件?
hadoop
、
hdfs
我安装并配置了我的hadoop集群(2.6.0版本),它可以100%地工作,但每次我关闭我的集群时,我都无法访问HDFS中的数据。
浏览 0
提问于2016-07-07
得票数 0
1
回答
Hadoop 3:如何配置/启用擦除编码?
hadoop
、
hdfs
、
bigdata
、
hadoop3
、
erasure-code
我正在尝试安装Hadoop 3集群。 关于擦除编码特性的两个问题: 如何确保启用擦除编码? 还需要将复制因子设置为3吗? 请说明与擦除编码/复制相关的配置属性,以便获得与Hadoop 2(复制因子3)相同的数据安全性,但具有Hadoop 3擦除编码的磁盘空间好处(仅50%的开销而不是200%)。
浏览 3
提问于2018-07-23
得票数 1
回答已采纳
1
回答
在空隙环境中安装nltk数据
python
、
hadoop
、
nltk
、
anaconda
我想利用NLTK实现hadoop集群上的NLP任务。我们使用Anaconda发行版。该集群处于空隙环境中,因此我无法运行nltk.download()。 我想我需要把数据下载到另一台有互联网接入的机器上。我从哪里下载的?以及如何在hadoop集群上安装它?我只是复制文件吗?还是nltk需要知道数据在哪里?是否需要在所有节点上复制数据?
浏览 11
提问于2017-01-06
得票数 0
回答已采纳
1
回答
在Hadoop上部署Python pip包?
python
、
hadoop
、
apache-pig
、
udf
为Hadoop/Pig写一个Python UDF,需要使用一些Python库,比如"request“,这是我在做本地box UDF测试时由pip安装在本地的。想知道如何在Hadoop集群上部署pip包,以便无论我的Python UDF在哪个节点上运行,它都会自动消耗?
浏览 2
提问于2015-08-28
得票数 1
2
回答
如何启动MapReduce程序?
mapreduce
我已经在我的系统中安装了单节点集群(VM->Ubuntu)。我学习了MapReduce和Hadoop框架的基础知识。如何开始使用MapReduce编码?
浏览 4
提问于2017-02-24
得票数 0
1
回答
hadoop1.2.1中缺少hadoop-mapreduce client-core-[0-9.]*.jar
hadoop
、
oozie
我已经在一个三节点集群上安装了Hadoop 1.2.1。在安装Oozie时,当我试图为web控制台生成一个war文件时,我得到了这个错误。 hadoop-mapreduce-client-core-[0-9.]*.jar' not found in '/home/hduser/hadoop' 我相信我使用的Hadoop版本没有这个jar文件(不知道在哪里可以找到它们)。所以谁能告诉我如何创建一个war文件和启用web控制台。任何帮助都是非常感谢的。
浏览 1
提问于2013-12-17
得票数 0
1
回答
管理Hadoop COnfiguration /服务集群的主厨
hadoop
、
automation
、
chef-infra
、
knife
、
mapr
我正在尝试开发用于部署和管理Hadoop集群(特别是MapR)的厨师食谱。 根据我的理解,Chef是以自动化方式安装hadoop集群的一个很好的工具。但是,我不确定Chef如何在安装后帮助管理/更改Hadoop集群的配置,如何将集群构建到集群完全崩溃的状态(在灾难恢复的情况下)。
浏览 0
提问于2014-09-08
得票数 0
回答已采纳
3
回答
Hadoop客户端节点配置
hadoop
假设有一个拥有20台机器的Hadoop集群。在这20台机器中,有18台机器是从机,19台机器用于NameNode,20台机器用于JobTracker。 现在我知道hadoop软件必须安装在所有这20台机器上。 但我的问题是,将文件xyz.txt加载到Hadoop Cluster涉及到哪台机器。客户端机器是否是一台独立机器。我们需要在那台clinet机器上安装Hadoop软件吗?客户端机器如何识别Hadoop集群?
浏览 1
提问于2014-03-07
得票数 14
8
回答
在Hadoop中未设置JAVA _Home
java
、
hadoop
、
installation
我是hadoop的初学者,正在尝试将hadoop作为单节点集群在我的Ubuntu中安装和运行。这是我hadoop_env.sh中的JAVA_HOME # The java implementation to use. export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386/ export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/etc/hadoop"} 但当我运行它时,会出现以下错误- Starting namenodes on [localhost] localhost: Error: JAVA_H
浏览 3
提问于2013-12-17
得票数 9
2
回答
在intellij中将配置单元连接到from spark
apache-spark
、
spark-hive
我正在尝试从安装在本地计算机上的Intellij中的spark程序中连接到远程配置单元。 我将hadoop集群配置文件放在本地机器上,并在Intellij运行此spark程序的配置中配置了环境变量HADOOP_CONF_DIR,以便能够检测此hadoop集群,但intelliJ不知何故无法读取这些文件,并且spark程序默认为本地配置单元元存储实例。 有没有办法将intelliJ配置为在本地读取hadoop配置文件。任何帮助都是非常感谢的。
浏览 3
提问于2018-02-14
得票数 0
1
回答
没有用hadoop -mkdir创建的文件夹
hadoop
、
hive
、
hadoop2
嘿,我正在Hadoop2.0多节点集群中安装HIVE,我无法使用以下命令创建文件夹: hadoop@master ~$ $HADOOP_HOME/bin/hadoop fs -mkdir /tmp 16/07/19 14:20:15 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable hadoop@master ~$ $HADOOP_HOME/bin/hadoop fs -mkdir -p
浏览 2
提问于2016-07-19
得票数 0
1
回答
Hadoop Kubernetes上的Dask
hadoop
、
kubernetes
、
cluster-computing
、
dask
、
kubernetes-helm
我已经通过helm chart在我的microk8s kubernetes集群上安装了Hadoop。我想知道如何在这个hadoop集群上的不同机器上创建一个dask集群。我尝试遵循Dask网站上的教程,但一直收到错误,因为它正在寻找本地的yarn/hadoop。如何指向kubernetes上的hadoop才能创建集群?
浏览 0
提问于2020-06-16
得票数 2
1
回答
如何在windows上安装hadoop2.4.1
windows-7
、
cluster
、
hadoop
、
hdfs
、
apache-spark
我想在纱线模式下使用hadoop设置一个集群。我想使用spark进行映射-减少,并使用submit来部署我的应用程序。我想在cluster..can上工作,任何人都可以帮助我使用windows在集群中安装HADOOP。
浏览 0
提问于2017-03-13
得票数 0
2
回答
如何在HDP 2.2中安装hadoop示例*和hadoop测试* jars?
hadoop
、
hortonworks-data-platform
如何在Hortonworks数据平台2.2上安装hadoop示例*和hadoop测试* jars?在任何服务器上都不存在jars。我还需要安装另一个软件包吗? 我找到了一个,它说它们应该位于/usr/share/hadoop,但是在集群中的任何节点上都不存在这个目录。
浏览 4
提问于2015-04-07
得票数 1
回答已采纳
1
回答
在HDI Hadoop群集中启用SSL
hadoop
、
ssl-certificate
、
azure-hdinsight
、
ambari
我使用的是Azure HDInsight Hadoop集群类型,HDI :Hadoop2.7(HDI3.6)。这不是Kerberised群集,因为未启用ESP。现在我需要在这个hadoop集群上启用SSL。如何确保在hadoop集群中启用SSL?我可以在core-default.xml文件中看到hadoop.ssl.enabled属性为false。 现在,如何在此hadoop集群上启用SSL。 感谢你的他谢谢
浏览 2
提问于2019-12-03
得票数 1
1
回答
与单独安装HBase和Hadoop相比,同时安装HBase和Hadoop有什么利弊?
hadoop
、
hbase
、
hdfs
、
distributed-computing
我的意思是,有两个选择: 1.在Hadoop集群上安装HBase,这也是离线计算,所以只有1个hadoop集群。2.安装一个用于离线计算的Hadoop集群,然后再安装一个仅供HBase使用其HDFS的Hadoop集群。 因此,有两个选项:一个是集成集群,另一个实际上是2个集群。 这两个选项的优缺点是什么?
浏览 2
提问于2013-07-11
得票数 1
2
回答
在hadoop集群中,是否应该在所有节点上都安装hive?安装Pig
hadoop
、
apache-pig
我是Hadoop / Pig的新手,我刚刚开始阅读文档。 有很多关于在集群模式下安装Hadoop的博客。 我知道Pig运行在Hadoop之上。 我的问题是: Hadoop安装在所有集群节点上。 我是应该在所有集群节点上也安装Pig,还是只在主节点上安装Pig?
浏览 3
提问于2018-06-11
得票数 0
3
回答
需要在Hadoop-2.0.0中手动创建dfs.domain.socket.path才能使用Impala吗?
linux
、
hadoop
、
hadoop2
、
impala
我正在按照说明配置hadoop-2.0.0集群以安装Impala。在hdfs-site.xml中,我添加了两个属性"dfs.client.read.shortcircuit“和"dfs.domain.socket.path”(/var/lib/hadoop-hdfs/dn_socket)。 但是,当我通过start-dfs.sh启动Hadoop集群时,它无法启动数据节点。datanode中的日志显示“无法统计路径组件:'/var/lib/hadoop-hdfs'”。然后,我手动创建/var/lib/ Hadoop -hdfs,并再次启动Hadoop集群。它再次失
浏览 14
提问于2014-09-24
得票数 1
2
回答
HDFS主目录
hadoop
、
cluster-computing
、
hdfs
、
user-permissions
我已经设置了一个单节点多用户hadoop集群。在我的集群中,有一个管理员用户负责运行集群(超级用户)。为所有其他用户分配一个hdfs目录,如/home/xyz,其中xyz是用户名。 在unix中,我们可以在/etc/passwd中更改用户的默认主目录。默认情况下,用户的登录目录是主目录。 如何在hadoop for hdfs文件系统中执行此操作。例如,如果用户在unix提示符下输入:$hadoop dfs -ls。它将列出我分配的主目录的内容。 此外,hdfs目录是由运行群集的超级用户(hadoop超级用户而不是unix root)创建的,然后将所有权转移给特定用户。
浏览 1
提问于2012-04-09
得票数 5
回答已采纳
2
回答
为什么每次重启机器后都需要格式化HDFS?
hadoop
、
ubuntu-11.04
我已经在我的笔记本电脑上安装了Hadoop的伪分布式模式,操作系统是Ubuntu。 我已经更改了hadoop存储其数据的路径(默认情况下,hadoop将数据存储在/tmp文件夹中) hdfs-site.xml文件如下所示: <property> <name>dfs.data.dir</name> <value>/HADOOP_CLUSTER_DATA/data</value> </property> 现在,每当我重新启动机器并尝试使用start-all.sh脚本启动hadoop集群时,数据节点就永远不会启动
浏览 12
提问于2013-11-22
得票数 2
回答已采纳
1
回答
星星之火:如何从不同的用户以“yarn_client”模式远程启动木星
hadoop
、
apache-spark
、
ipython
、
pyspark
、
jupyter
假设我有一个4节点Hadoop集群(在我的例子中是Cloudera分发版),每个节点('/home/hadoop')上都有一个名为'hadoop‘的用户。此外,我还安装了第五台服务器,上面安装了木星和Anaconda,用户名为“ipython”,但没有hadoop安装。 假设我想通过保留'ipython‘用户从第五个服务器远程启动木星,我的问题是日志中出现了一个问题,即不允许用户'ipython’(或诸如此类的东西)。 为了获取信息,我将一个虚拟目录(用于设置HADOOP_CONF_DIR环境变量)从Hadoop集群复制到第五个服务器。我的“kernel
浏览 1
提问于2015-10-22
得票数 1
1
回答
u0X目录在Hadoop集群中的作用是什么?
hadoop
、
hdfs
我是Hadoop和Linux的新手。我正在遵循一个教程来构建一个简单的3节点集群,在成功安装了pseduo分布式集群之后,我现在需要将它重新配置为完全分布式。 我到了需要为fsimage文件提供冗余的地步。因此,根据本教程,我需要以这种方式编辑hdfs-site.xml: 电流设置(伪分布) <property> <name>dfs.namenode.name.dir</name> <value>file:/hadoop/hdfs/namenode</value> </property> 改为(全分发) <
浏览 1
提问于2020-03-28
得票数 1
回答已采纳
1
回答
GCE上的Hadoop实例
hadoop
、
google-compute-engine
、
cluster-computing
、
google-cloud-dataproc
我正在引擎上建立一个Hadoop集群。但我很难理解集群实例将如何工作。我已经找了很多东西,但没有给出明确的答案。 在设置Hadoop集群时,是否创建一个安装了Hadoop的实例的映像,并且每次启动此实例(映像)时都创建其他实例(节点)? 但是,这种方法需要每次创建节点时都必须配置节点? 有没有人有这方面的经验,并能提供一些文档,关于如何在Google引擎上设置Hadoop集群的一部分?
浏览 3
提问于2014-04-28
得票数 1
回答已采纳
2
回答
hadoop是怎么工作的?客户端如何连接到hadoop
java
、
apache
、
hadoop
、
hdfs
我对hadoop有基本的理解。我的问题是客户机/开发人员如何连接到hadoop集群来执行查询。 例如,我是hadoop开发人员。某个远程位置的Hadoop集群。如何连接到hadoop集群来运行我的java代码?我是否也必须在我的笔记本电脑中安装hadoop (为此我必须运行Linux)? 或者,如果我与Hadoop集群在同一个网络中,只需在我的笔记本电脑中挂载共享,并将我的代码放入hadoop集群,是否可以呢? 第二个问题:对于运行java代码,我是否必须对任何数据节点进行SSH,然后运行作业? 以上两个问题一直困扰着我。我没有实时经验。 提前谢谢你!
浏览 4
提问于2014-11-07
得票数 1
回答已采纳
2
回答
Hadoop客户端与集群分离
hadoop
、
cluster-computing
、
vpn
、
hadoop2
我也是hadoop,linux的新手。我的教授要求我们使用端口映射或VPN分离Hadoop客户端和集群。我不明白这种分离的含义。有人能给我个提示吗? 现在,我了解了集群客户端分离的概念。我认为需要在客户端机器中安装hadoop。当客户端提交一个hadoop作业时,它将提交给集群的主程序。 我有一些天真的想法: 1.创建客户端计算机并安装hadoop。 2.将fs.default.name设置为hdfs://master:9000 3.把dfs.namenode.name.dir设为file://master/home/hduser/hadoop_tmp/hdfs/namenode,对吗? 4.
浏览 1
提问于2016-02-10
得票数 1
回答已采纳
1
回答
如何识别副本块下的问题
hadoop
、
hdfs
、
ambari
、
hdp
我们用一台数据节点机器安装了小型HDP集群。 HDP版本为2.6.5,ambari版本为2.6.1。 这是一个新的集群,包含两个名称节点,只有一个数据节点(工作机器)。 我们看到的有趣的行为是under replica在ambari仪表板上的增加,现在这个数字是15000在复制块下。 正如我们所知,造成这个问题的最根本原因是名称节点到数据节点之间的网络问题。 但在hadoop集群中,情况并非如此 我们还可以通过以下步骤减少下面的副本 su - <$hdfs_user> bash-4.1$ hdfs fsck / | grep 'Under replicated'
浏览 0
提问于2021-01-17
得票数 0
2
回答
kafka - python程序可以连接到hadoop集群之外的Kafka吗?
python
、
apache-kafka
我想写一个python程序,它读取一个文件,并将数据作为一个生产者写入Kafka。Kafka安装在Hadoop集群中,Python将运行在Hadoop集群之外。 可以从外面连接吗?我需要为python安装Kafka库吗?我需要如何安装?
浏览 4
提问于2017-12-16
得票数 3
回答已采纳
1
回答
我已经在ubuntu14.04上安装了Hadoop2.6,我在运行它时需要帮助
14.04
、
hadoop
我有一个64位的Ubuntu14.04,我安装了单节点集群Hadoop2.6,所有的节点都在运行,但是当我尝试将一个示例文本文件放入hdfs --它不起作用时,我已经开始学习hadoop,所以请解释一下,这会有帮助的。我需要命令帮助将测试文件放入hdfs并对文本文件执行简单的计算。web中的教程令人困惑,因为对于不同的hadoop和ubuntu版本,有些命令是不同的。
浏览 0
提问于2015-04-09
得票数 1
回答已采纳
1
回答
从eclipse访问Hadoop集群
eclipse-plugin
、
hadoop
、
hadoop-plugins
我只是按照Hadoop(0.20.2)安装教程进行了设置。我可以通过eclipse在集群上运行map还原程序。现在我的问题是如何从本地系统连接Hadoop集群。本地系统是windows 7,我已经为Hadoop安装了eclipse插件。我试图从本地系统(Windows)连接Hadoop (我的本地系统和Hadoop系统在同一个子网中)。连接到Hadoop服务器时出现了连接超时错误。 在Hadoop的配置文件中,我给出了实际的IP地址。不知道我错过了哪一步?
浏览 1
提问于2011-02-11
得票数 1
3
回答
在我的笔记本电脑上使用虚拟机安装多项式Hadoop集群
hadoop
、
vmware
我有一个windows 7笔记本电脑和,我需要在它上安装hadoop (mutlinode)集群。 我已经做好了以下准备- - 虚拟软件,即virtualbox和vmware播放器。 两个虚拟机,即 Ubuntu -用于Hadoop主和 Ubuntu - for (1X) Hadoop从机 是否有人在您的笔记本上使用虚拟机安装过这样的集群? 如果是,请帮助我安装它。 我搜索过google,但是我不知道如何使用VM在hadoop上配置这个多节点集群? 如何使用VMware或virtualbox在windows 7上运行两个Ubuntu? 我们应该使用相同的Ubuntu版本的VM映
浏览 8
提问于2014-05-09
得票数 4
回答已采纳
1
回答
hadoop存储目录使用的空间大于HDFS上的总数据。
hadoop
、
mapreduce
、
hdfs
我有一个具有复制因子= 3的三节点hadoop集群。 每个系统的/app/hadoop/tmp/dfs/是存储目录。 每个数据节点系统的硬盘容量为221 of。 HDFS的有效数据为62 of,replication 62*3= 186 of。 现在的问题是,尽管660 GB集群上只有186 GB的数据,但我仍然缺乏存储空间: HDFS显示了在可用空间上的巨大差异: datanode1 =7.47GB datanode2 =17.7GB datanode3 =143 GB 为了确保hadoop本地存储使用这些空间,我在每个datanode上运行了这个命令。对于datanode1 du -h -
浏览 6
提问于2012-09-18
得票数 1
2
回答
Cloudera hadoop的conf目录位于哪里?
apache
、
hadoop
、
cloudera
我一直在搜索Cloudera /conf目录所在的位置,但是找不到它。我使用Cloudera的一键软件包回购安装了namenode,并运行了sudo apt-get install -y hadoop-hdfs-namenode,但现在我需要找到/conf,以便配置Hadoop集群。有人知道它的位置吗?
浏览 1
提问于2014-04-20
得票数 3
回答已采纳
1
回答
SecondaryNameNode错误- nodename获取的/app/hadoop/tmp/dfs/namesecondary/in_use.lock上的锁
hadoop
我刚刚从Hadoop开始,在启动SecondaryNameNode(SNN)时遇到了一些问题。我可以从日志中看到下面的错误 错误: 2015-10-28 00:26:58,495 INFO org.apache.hadoop.hdfs.server.common.Storage: org.apache.hadoop.hdfs.server.common.Storage /app/hadoop/tmp/dfs/namesecondary/in_use.lock由nodename 10496@sam获得 下面是我的conf文件,是因为NameNode和SNN都试图访问/使用相同的tmp目录吗? h
浏览 1
提问于2015-10-28
得票数 1
回答已采纳
1
回答
如何增加HDFS集群上dfs的空间
hadoop
、
hadoop-yarn
、
hadoop2
我们有4个datanode集群,当我查看datanode信息时,...there是在大约98 of ...but的每个数据节点上具有很大的空间。它只需要10 it. 我们怎样才能让它使用所有的98 of,而不像图像中所示的那样耗尽空间? 这是名称节点上的hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>2</value> </property>
浏览 0
提问于2017-01-17
得票数 0
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
开源之系统:如何查找Ubuntu中安装的软件的目录位置
大数据概览——搭建大数据的基础
HADOOP在CENTOS7下完全分布式环境搭建
python3,hadoop,spark安装搭建流程小记
0480-如何从HDP原地迁移到CDH5.16.1
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券