在Windows 10中首次运行Hadoop时datanode执行错误
在Windows 10中首次运行Hadoop时datanode执行错误
提问于 2018-09-03 00:14:41
我正在尝试在我的Windows10机器上运行Hadoop 3.1.1。我修改了所有的文件：
- hdfs-site.xml
- mapred-site.xml
- core-site.xml
- yarn-site.xml
然后，我执行了以下命令：
C:\hadoop-3.1.1\bin> hdfs namenode -format格式运行正确，所以我指向C:\hadoop-3.1.1\sbin来执行以下命令：
C:\hadoop-3.1.1\sbin> start-dfs.cmd命令提示符会打开两个新窗口:一个用于datanode，另一个用于namenode。
namenode窗口继续运行：
2018-09-02 21:37:06,232 INFO ipc.Server: IPC Server Responder: starting
2018-09-02 21:37:06,232 INFO ipc.Server: IPC Server listener on 9000: starting
2018-09-02 21:37:06,247 INFO namenode.NameNode: NameNode RPC up at: localhost/127.0.0.1:9000
2018-09-02 21:37:06,247 INFO namenode.FSNamesystem: Starting services required for active state
2018-09-02 21:37:06,247 INFO namenode.FSDirectory: Initializing quota with 4 thread(s)
2018-09-02 21:37:06,247 INFO namenode.FSDirectory: Quota initialization completed in 3 milliseconds
name space=1
storage space=0
storage types=RAM_DISK=0, SSD=0, DISK=0, ARCHIVE=0, PROVIDED=0
2018-09-02 21:37:06,279 INFO blockmanagement.CacheReplicationMonitor: Starting CacheReplicationMonitor with interval 30000 milliseconds而datanode给出以下错误：
ERROR: datanode.DataNode: Exception in secureMain
org.apache.hadoop.util.DiskChecker$DiskErrorException: Too many failed volumes - current valid volumes: 0, volumes configured: 1, volumes failed: 1, volume failures tolerated: 0
at org.apache.hadoop.hdfs.server.datanode.checker.StorageLocationChecker.check(StorageLocationChecker.java:220)
at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2762)
at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2677)
at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2719)
at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2863)
at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2887)
2018-09-02 21:37:04,250 INFO util.ExitUtil: Exiting with status 1: org.apache.hadoop.util.DiskChecker$DiskErrorException: Too many failed volumes - current valid volumes: 0, volumes configured: 1, volumes failed: 1, volume failures tolerated: 0
2018-09-02 21:37:04,250 INFO datanode.DataNode: SHUTDOWN_MSG:然后，datanode关闭！我尝试了几种方法来克服这个错误，但这是我第一次在windows上安装Hadoop，不知道下一步该做什么！
回答 2
Stack Overflow用户
发布于 2019-11-19 08:30:02
在hdfs-site.xml中删除了datanode的文件系统引用之后，我就可以正常工作了。我发现这使得软件能够创建和初始化自己的datanode，然后在sbin中弹出。在那之后，我就可以顺利地使用hdfs了。以下是适用于我在windows上的Hadoop 3.1.3的方法：
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///C:/Users/myusername/hadoop/hadoop-3.1.3/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>datanode</value>
</property>
</configuration>干杯，MV
Stack Overflow用户
发布于 2019-05-16 07:12:12
我遇到了同样的问题，对我有效的方法是编辑hdfs-site.xml，如下所示：
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///C:/Hadoop/hadoop-3.1.2/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/C:/Hadoop/hadoop-3.1.2/data/datanode</value>
</property>页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/52138821
复制相关文章
相似问题