的本地机用JavaAPI操作服务器的dfs，可以正常在dfs上创建目录，但就是在创建的目录下写入字符串到txt文件时出现6.PNG
@Te
浏览 3962提问于2018-04-19
2回答
我意外地删除了hadoop集群上的一个大目录我怎么才能解开这个。我忘记了在删除所有内容之前，只有集群中的客户端节点的快照。如果我恢复到这个快照，会发生什么？我知道文件实际上并没有被删除/覆盖，而是访问内存中那个
浏览 3提问于2016-04-03得票数 0
我希望将文件从Hadoop集群复制到远程集群。我知道远程名称节点的IP和端口。我想按下面的ex格式通过名称空间复制该文件。hadoop -cp hdfs://MyNamespace/path/file hdfs://RemoteNamespace/
浏览 1提问于2018-04-20得票数 0
回答已采纳
Hadoop2.6使用Yarn作为下一代地图减少，同时也是集群管理器。对于集群管理服务，我们还需要使用Hadoop2.6中的ZooKeep2.6吗？我们怎么设置动物园管理员。如何为hadoop集群安装Kafka连接。什么是卡夫卡的消费者和生产者将数据发送到hadoop文件系统。我已经设置了Hadoop2.6单节点集群。接下来，我理解的方法是让动物园管理员和Kafka负责数据流到<e
浏览 2提问于2015-07-27得票数 4
回答已采纳
2015-11-29 19:40:04,670 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failedat org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:217)at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(
浏览 1提问于2015-11-29得票数 9
回答已采纳
10回答
我试图以伪分布式模式安装Hadoop2.2.0。当我试图启动datanode服务时，它显示了以下错误，请告诉我如何解决这个问题吗？**2**014-03-11 08:48:15,916 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool <registering: IPC Server Responder: starting
2014-03-11 08:48:15,922 INFO org.apache.hadoop.ipc.Server: IPC Serv
浏览 15提问于2014-03-11得票数 42
回答已采纳
我是Hadoop的新手，我在当前运行的Hadoop系统中向core-site.xml添加了更多属性，所以我是否应该重新启动Hadoop以使这些新属性可用
浏览 0提问于2016-04-14得票数 2
这个错误一直在我的hadoop爬虫中被抛出。在所有节点上都有足够的空闲空间。我不知道如何继续下去。完全错误是：
Error: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /crawl/segments/20170211181653at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.jav
浏览 2提问于2017-02-21得票数 0
最新版本的Hadoop提供了mapred-site.xml.template，我们需要使用它创建一个新的mapred-site.xml文件吗？任何与Hadoop 2.2.0相关的文档或解释的链接都将不胜感激。
浏览 0提问于2013-11-24得票数 13
回答已采纳
1回答
2757 in stage 13.0 failed 4 times, most recent failure: Lost task 2757.3 in stage 13.0 (TID 47681, hadoop-w-175.c.taboola-qa-01.internal): java.io.FileNotFoundException: /hadoop/spark/tmp/spark-local-20141201184944java.util.concurrent.ThreadPoolExecutor$Worker.r
浏览 1提问于2014-12-01得票数 2
1回答
怎么修？
、
我一直在运行一些基准测试，我对hadoop和hdfs还很陌生。我已经安排好了一切，他们运转得很好。编辑:我试着清除tmp文件，删除过时的java进程并重新启动。但我还是遇到了同样的问题。谢谢。
浏览 3提问于2012-08-30得票数 1
看起来对hadoop的依赖是在项目的project.clj文件中提供的，如下所示如果我必须包含对本地安装的Hadoop单节点集群或一些外部hadoop集群的依赖关系，我应该怎么做？如果它是本地的，我是否应该简单地将“hadoop的路径”放
浏览 0提问于2013-09-23得票数 0
我正在尝试备份我从pyspark程序写入hadoop集群的数据。我可以这样做吗？
现在，我正在获取一个hadoop集群客户端配置文件，该配置文件在环境变量中设置Hadoop集群的详细信息。如果没有，我应该怎么做？
浏览 18提问于2020-06-03得票数 0
使用hadoop设置正式文档中提供的基本配置，我可以运行hadoop集群并提交mapreduce作业。我该怎么做？我需要对我的配置文件做什么更改？在进行这些更改之后，当再次格式化namenode时，如何删除正确的文件？
浏览 2提问于2014-09-18得票数 0
回答已采纳
Propertyname : dfs.heartbeat.recheck.interval但是，当我从集群中删除datanode时，未从hadoop中删除的详细信息cluster.It仅在该集群中处于死节点状态。请建议如何从hadoop集群中删除已删除的datanode详细信息。
浏览 1提问于2015-07-02得票数 1
5回答
我正在编写一个shell脚本，以便在数据生成后立即将其放入hadoop中。我可以ssh到我的主节点，将文件复制到那里的一个文件夹中，然后将它们放入hadoop。我正在寻找一个shell命令，以避免将文件复制到主节点上的本地磁盘。为了更好地解释我需要什么，你可以在下面找到我到目前为止所拥有的：scp test.txt username@masternode:/folderName/
我已经使用密钥设置了2)我可以使用ssh远程执行<
浏览 0提问于2012-06-30得票数 36
回答已采纳
我正在尝试运行mapreduce作业，但Hadoop-3.1.3中出现了错误 at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:1000)
at org.apache
浏览 1提问于2020-04-04得票数 1
回答已采纳
1回答
但是，当我尝试设置Apache NiFi来访问Hive或HDFS时， Kerberized集群。我有问题了。
有人能指导我设置HDFS/Hive/HBase (与Kerberos一起)的文档吗？
浏览 4提问于2016-12-23得票数 3
2回答
我正在编写python代码，以便在Hadoop集群上运行，并且需要将一些中间数据存储在文件中。因为我想在集群上运行代码，所以我想将中间数据写入HDFS上的/tmp目录中。在接下来的步骤中使用该文件后，我将立即删除它。我怎么能这么做？for item in mylist:
subprocess.call([&q
浏览 8提问于2016-10-06得票数 1
回答已采纳
1回答
场景是，我需要处理一个文件(输入)，并且对于每个记录，我需要检查输入文件中的某些字段是否与Hadoop集群中存储的字段匹配。我们的想法是使用MRJob处理输入文件，并使用HIVE从hadoop集群获取数据。我想知道是否可以在MRJob模块内连接HIVE。如果是这样的话，该怎么做呢？我是Hadoop、MRJob和Hive的新手。
请提供一些建议。
浏览 0提问于2016-11-29得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
