在Hadoop-3.2.0中运行start-dfs.sh时出错
可能是由于以下原因之一：
- 配置错误：请确保Hadoop的配置文件（如core-site.xml、hdfs-site.xml）正确设置。检查文件路径、端口号、主机名等是否正确配置。
- 网络问题：确保网络连接正常，并且所有节点都能够相互通信。检查防火墙设置，确保端口没有被阻止。
- 权限问题：检查Hadoop文件系统的权限设置是否正确。确保当前用户对Hadoop文件系统有足够的权限。
- 资源不足：检查系统资源（如内存、磁盘空间）是否足够支持Hadoop运行。确保所有节点上的资源都满足要求。
- 日志分析：查看Hadoop的日志文件（如hadoop-hdfs-namenode-<hostname>.log、hadoop-hdfs-datanode-<hostname>.log）以获取更详细的错误信息。根据错误信息进行排查和修复。
对于Hadoop的错误排查和解决，腾讯云提供了一系列相关产品和服务：
- 腾讯云Hadoop：腾讯云提供了托管的Hadoop集群服务，可快速搭建和管理Hadoop集群，无需关注底层架构和运维工作。详情请参考：腾讯云Hadoop
- 腾讯云云服务器（CVM）：腾讯云提供高性能、可扩展的云服务器，可用于搭建Hadoop集群。详情请参考：腾讯云云服务器
- 腾讯云对象存储（COS）：腾讯云提供高可靠、低成本的对象存储服务，可用于存储Hadoop的输入数据和输出结果。详情请参考：腾讯云对象存储
请根据具体情况和错误信息进行排查和解决。如果问题仍然存在，请提供更详细的错误信息以便进一步帮助。
相关·内容
我已经成功地在描述的伪分布式模式下，在Window的wsl2环境下启动了单节点。之后，我尝试使用MacBookPro重复它。但不知何故，start-dfs.sh失败了。终端抛出错误：
Stopping namenodes on [localhost]
Stopping datanodes
Stopping secondary namenodes [kakaoui-MacBookPro.local]
kakaoui-MacBookPro.local: ssh: connect to host kakaoui-macbookpro.local port 22: Connection refused
浏览 10提问于2021-06-26得票数 0
回答已采纳
我在运行start-dfs.sh时出错
start-dfs.sh
16/10/02 23:10:54 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [localhost]
localhost: starting namenode, logging to /opt/hadoop/logs/hadoop-root-namenode-Web.ou
浏览 5提问于2016-10-03得票数 0
回答已采纳
我已经在ubuntu linux中以伪分布式模式安装了hadoop 2.6.0。除了这个问题，一切都很好。当我运行start-dfs.sh脚本来启动守护进程时，它要求输入linux用户密码。不知道为什么？它会询问每个守护进程(namenode、datanode和sec namenode)的密码。你能帮我解决这个问题吗？
huser@ubuntu:~/hadoop$ sbin/start-dfs.sh
Starting namenodes on [localhost]
huser@localhost's password:
提前谢谢。
浏览 3提问于2015-08-12得票数 1
我是Hadoop的新手，在这些教程之后，我尝试在VMware中构建一个Hadoop独立服务器。
当我尝试运行start-dfs.sh时，它返回'/usr/bin/env：'bash'：没有这样的文件或目录‘，但是文件确实存在。
这是我的hdfs-site.xml
这是我的系统变量。
试着使用sudo ./start-dfs.sh，得到这个。但是我对这条消息感到困惑，因为在/sbin下没有文件夹
浏览 2提问于2018-06-29得票数 0
回答已采纳
我正在按照教程在我的计算机上安装Hadoop.安装完成后，当我尝试使用此命令./start-dfs.sh启动Hadoop时，它返回以下信息：
U:sbin U$ ./start-dfs.sh
Starting namenodes on [localhost]
localhost: U@localhost: Permission denied (publickey,password,keyboard-interactive).
Starting datanodes
localhost: U@localhost: Permission denied (publickey,password,keyb
浏览 358提问于2018-02-26得票数 17
回答已采纳
Ubuntu 16.04.1 LTS
Hadoop 3.3.1
当我运行start-dfs.sh时，
hadoop@ubuntu:~/hadoop/sbin$ start-dfs.sh
在ubuntu上启动namenodes
ubuntu:警告:将“ubuntu”(ECDSA)永久添加到已知主机列表中。
ubuntu:权限被拒绝(公开密钥，密码)。
起动数据阳极
localhost:警告:将“localhost”(ECDSA)永久添加到已知主机列表中。
localhost:权限被拒绝(公开密钥，密码)。
启动二次班尼诺德
ubuntu:权限被拒绝(公开密钥，密码)。
2021-06-25 1
浏览 4提问于2021-06-25得票数 0
我有一个节点Hadoop1.0.4，它运行得很好(我可以运行map-还原作业)。我遇到的问题是，每当我重新启动和执行start-dfs.sh namenode时，namenode没有启动，我必须执行"hadoop namenode -format“，然后执行start-dfs.sh和start-mapred.sh。迫使我每次都要加载我的数据。您能提示我可能需要检查的解决方案或配置问题吗？
谢谢,
浏览 1提问于2014-09-06得票数 1
回答已采纳
prateek@prateek:~$ start-dfs.sh
Starting namenodes on [localhost]
pdsh@prateek: localhost: ssh exited with exit code 1
Starting datanodes
Starting secondary namenodes [prateek]
prateek@prateek:~$ jps
11011 SecondaryNameNode
10787 DataNode
11161 Jps
prateek@prateek:~$
它有时会启动，但大多数时候会抛出错误。格式化的namenode
浏览 18提问于2018-06-23得票数 2
正在尝试在本地服务器上运行Hadoop，但无法执行此操作。
运行命令时出错。/start-dfs.sh
17/08/25 11:58:08 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Incorrect configuration: namenode address dfs.namenode.servicerpc-address or dfs.namenode.rpc-addres
浏览 3提问于2017-08-25得票数 0
在使用start-dfs.sh启动最新的Hadoop (Okt，2014年)时，我们看到：
连接到主机本地主机端口22:在运行时拒绝连接
浏览 9提问于2014-10-24得票数 3
回答已采纳
我在Ubuntu18.04上将Hadoop dfs作为系统服务运行时遇到了问题。从终端运行start-dfs.sh运行正常，但作为systemd服务运行失败。
我也尝试了这里的示例()，但它失败了。
服务文件..
[Unit]
Description=Hadoop DFS namenode and datanode
After=syslog.target network.target remote-fs.target nss-lookup.target network-online.target
Requires=network-online.target
[Service]
User=ub
浏览 3提问于2020-10-14得票数 0
我正在尝试为hadoop配置5个从站。在主节点中运行start-dfs.sh之后，只有一个从节点没有运行DataNode。我尝试在该节点的配置文件中寻找一些不同之处，但没有找到任何东西。
浏览 0提问于2012-09-29得票数 0
回答已采纳
我在debian/stretch64上有一个流浪箱，我尝试用documentation 安装Hadoop3
当我运行start-dfs.sh时，我收到以下消息
vagrant@stretch:/opt/hadoop$ sudo sbin/start-dfs.sh
Starting namenodes on [localhost]
pdsh@stretch: localhost: connect: Connection refused
Starting datanodes
pdsh@stretch: localhost: connect: Connection refused
Starting
浏览 206提问于2018-01-10得票数 8
1回答
我无法运行start-dfs.sh
ubuntu@UBUNTU:~$ start-dfs.sh
14/10/19 19:26:50 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [localhost]
localhost: ssh: connect to host localhost port 22: Connection refused
浏览 2提问于2014-10-20得票数 2
usr/local/hadoop/sbin/hadoop-daemons.sh:没有这样的文件或目录我在运行start-dfs.sh时收到了这条错误消息。善意地给出了解决方案，并给出了正确的步骤。
浏览 0提问于2016-03-06得票数 0
当我试图通过命令"start-all.sh“运行我的hadoop集群时，会出现以下错误...“此脚本已弃用。请使用start-dfs.sh和start - yard.sh”请帮助我解决它，非常感谢。
浏览 0提问于2014-02-20得票数 0
我安装了Hadoop2.6，一切似乎都正常。然后，我重新启动了所有机器，而没有首先停止dfs，下面是错误信息。有办法解决吗？
$ ./sbin/start-dfs.sh
./sbin/start-dfs.sh: line 55: $hadoop/bin/bin/hdfs: No such file or directory
Starting namenodes on []
./sbin/start-dfs.sh: line 60: $hadoop/bin/sbin/hadoop-daemons.sh: No such file or directory
./sbin/start-dfs.s
浏览 0提问于2015-04-20得票数 0
回答已采纳
您好，运行start-dfs.sh后jps可以看见namenode，datanode和secondarnamenode都正常，netstat中也可以看出端口都开放，为什么无法通过外网访问50070等呢
浏览 487提问于2018-12-12
我在debian jessie上安装hadoop时遇到问题，运行脚本start-dfs.sh时收到警告
hadoop@debian1:~$ /usr/local/hadoop/sbin/start-dfs.sh 17/03/24 10:40:00 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Starting namenodes on [localhost] localhost: s
浏览 1提问于2017-03-24得票数 0
当我在配置单元中运行以下查询时：
hive> select count(*) from testsql;
我收到以下错误：
Error
FAILED: RuntimeException java.net.ConnectException: Call From impetus-1466/192.168.49.77 to impetus-1466:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://
浏览 1提问于2014-07-10得票数 1
Hadoop 3.0.0 MacOS高塞拉10.13.3
当我运行sbin/start-dfs.sh时
有一个错误：Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
我配置在下面，但无法工作：
我还用上面的变量配置了hadoop-env.sh，但也不起作用。
浏览 1提问于2018-03-22得票数 5
回答已采纳
我正在Ubuntu12.x中安装Hadoop。我已经有了一个deploy用户，我计划使用它在一个机器集群中运行hadoop。下面的代码演示了我的问题--基本上我可以ssh olympus没有问题，但start-dfs.sh却做不到这一点：
deploy@olympus:~$ ssh olympus
Welcome to Ubuntu 12.04.4 LTS (GNU/Linux 3.5.0-45-generic x86_64)
* Documentation: https://help.ubuntu.com/
Last login: Mon Feb 3 18:22:27 201
浏览 8提问于2014-02-03得票数 19
回答已采纳
我在CentOs和Hadoop2.5.0上有一个4节点集群1主集群和3个从集群。
所有的配置和ssh也都很好:)。
但是，当我在主namenod和从datanode中运行start-dfs.sh时，datanode作业正在运行，但在web GUI或hadoop dfsadmin -report中，没有节点没有运行:( .
我的主机文件：
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
192.168.1.201 master1 master1.foo.com
192.168.1.20
浏览 3提问于2014-09-27得票数 0
当我运行start-dfs.sh时，server3的路由是/home/xxx/hadoop-3.3.3/bin/hdfs(不是这样的文件)。实际上应该是/home/student/student8/hadoop-3.3.3
但我不知道怎么改变它。有人能帮我吗？非常感谢
浏览 6提问于2022-10-17得票数 0
2回答
我正在尝试将HDFS从1.2.1升级到2.6版本。但是，每当我运行start-dfs.sh -upgrade命令时，就会得到以下错误：
hduser@Cluster1-NN:/usr/local/hadoop2/hadoop-2.6.0/etc_bkp/hadoop$ $HADOOP_NEW_HOME/sbin/start-dfs.sh -upgrade
15/05/17 12:45:58警告util.NativeCodeLoader:无法为您的平台加载本机-hadoop库。在适用的情况下使用内置java类
在nn上启动名称
错误:请指定--主机名或--主机名选项之一，而不是同时指定.
nn:
浏览 4提问于2015-05-17得票数 2
我是刚认识Hadoop的。我正在尝试在ubuntu-12.04上安装Hadoop2.2.0。一切都很顺利。当我执行/sbin/start-dfs.sh时，将收到以下错误消息，
start-dfs.sh: 82: /usr/local/hadoop/sbin/../libexec/hadoop-config.sh:
Syntax error: word unexpected (expecting ")")
我在网上搜索，发现了一个JIRA问题，它与下面的URL 有关
有没有人在安装hadoop的时候遇到过这个问题，有谁能解决我的问题？
浏览 1提问于2014-04-18得票数 1
回答已采纳
21回答
我在伪分布式模式下使用Hadoop，一切工作正常。但是由于某种原因，我不得不重启我的电脑。现在，当我尝试启动Namenode和Datanode时，我发现只有Datanode在运行。有人能告诉我这个问题的可能原因吗？还是我做错了什么？
我同时尝试了bin/start-all.sh和bin/start-dfs.sh。
浏览 1提问于2011-11-10得票数 55
我是大数据模块的新手，并且在ubuntu上运行hadoop。
for map减少作业，需要抑制core-site.xml中的以下条目
fs.default.name hdfs://localhost:8020 start-dfs.sh不执行上面的条目抑制.
如果允许多个core-site.xml文件或条目，请协助并进行更新？
浏览 3提问于2022-06-18得票数 1
在完成了在ubuntu中使用java jdk1.8.0_111安装hadoop-2.7.3之后，我使用以下命令启动Hadoop
sbin/start-all.sh
它向我显示了一条错误信息
这个脚本是不推荐的。相反，在prolog中不允许使用start-dfs.sh和start-yarn.sh致命错误核心-site.xml:19:1: Content。
所以我用了另一个命令
sbin/start-dfs.sh
又一次错误向我展示
致命错误核心-site.xml:19:1: Content在prolog中是不允许的。
浏览 2提问于2016-12-24得票数 0
我正在设置一个$HADOOP_HOME/bin/hdfs节点，但是在运行Hadoop时，它会打印出找不到Hadoop。不过，该位置的文件是存在的，我可以很好地读取它。
从start-dfs.sh脚本进行日志记录：
root@hadoop:/opt/hadoop-2.7.3# sbin/start-dfs.sh
Error: Could not find or load main class org.apache.hadoop.hdfs.tools.GetConf
Starting namenodes on []
localhost: starting namenode, logging to
浏览 78提问于2017-01-25得票数 1
1回答
我在运行命令start-dfs.sh时遇到了困难，每当我运行这个命令时，它都会显示这个错误。我已经尝试过通过ssh-keygen来纠正它，但是我不知道如何解决这个问题。如果有人能帮我解决这个问题我将不胜感激
我遵循了这个教程：
教程非常好，但我似乎无法发现问题所在。
请参考这张图片
浏览 9提问于2017-03-14得票数 0
回答已采纳
2回答
我们试图在hadoop上创建一个多代码集群，但是在主服务器上运行start-dfs.sh文件后，它将请求root@奴隶和root@ master的密码，然后显示密码被拒绝。主站的ssh从和ssh主正在正常运行。现在如何进行？
浏览 4提问于2016-01-27得票数 1
1回答
为什么在执行脚本时使用bash？
、、、、
在前一个问题中，有人建议我执行：
sudo bash start-dfs.sh
好呀
sudo start-dfs.sh
？我是说，bash有什么不同？
浏览 0提问于2016-01-28得票数 2
回答已采纳
我正在尝试以伪分布式模式在RHEL上设置Hadoop。除了每次我使用start-dfs.sh启动HDFS时，命令窗口挂在
"Starting namenode, ...".
所以，我必须使用"control + c“来结束这个命令，然后它会继续
"localhost: starting secondarynamenode, ..." and
"localhost: starting datanode,...".
它只是逐行运行，我必须使用"enter“键来保持它运行下一条命令。但一旦完成，系统似乎就可以正常工作了。bin文件夹
浏览 0提问于2013-07-09得票数 0
回答已采纳
我已经安装了Hadoop Cluster，它是hadoop 0.23.9版本。我安装了HDFS-1943.patch，现在可以启动所有的namenode和datanode了。(start-dfs.sh适合我)
但是，当我想要启动yarn守护进程(运行start - as n.sh)时，它显示以下错误，与之前发生的错误相同：
[root@dbnode1 sbin]# ./start-yarn.sh
starting yarn daemons
starting resourcemanager, logging to /home/hchen/hadoop-0.23.9/logs/yarn-root-
浏览 1提问于2013-11-15得票数 1
1回答
我有一个Haddop2.6.4环境，运行良好，并使用start-dfs.sh和start-yarn.sh启动它。
如何在引导时使用此脚本启动haddop？有些技巧是使用start-all.sh的，但它是不推荐的。
我必须在init.d中创建两个服务吗？那么所有的EXPORT内容呢？所有节点都必须先进入吗？
谢谢。
浏览 6提问于2016-04-02得票数 2
回答已采纳
我已经在Ubuntu/linux上配置了hadoop-2.2.0，但是当我试图通过start-dfs.sh和start-yarn运行它时，它给了我这个错误：
Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
当我转到localhost:50070/nn_browsedfscontent.jsp时，它会给出以下错误：
Can't browse the DFS since there are no live nodes availabl
浏览 0提问于2014-05-07得票数 1
当我在Mac上的Hadoop2.2.0中启动start-dfs.sh时，错误消息中隐藏着这样的信息：
2014-02-24 14:48:23,448 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in secureMain
java.lang.InternalError: Can't connect to window server - not enough permissions.
at java.lang.ClassLoader$NativeLibrary.load(Native Metho
浏览 1提问于2014-02-25得票数 1
我在Ubuntu上有Hadoop 2.9.0，地址是
/usr/local/hadoop
但是，当我尝试start-dfs.sh时，在启动namenode时没有显示错误，但是当我键入jps时，只有
10900 SecondaryNameNode
11047 Jps
10696 DataNode
Seams已启动，而不是namenode
尝试：=>删除了临时文件并格式化了namenode hadoop namenode -format
终端：
blaze@blazian:/tmp$ start-dfs.sh
Starting namenodes on [localhost]
blaze@l
浏览 1提问于2018-03-13得票数 0
我安装了hadoop单个节点，现在我使用start-dfs.sh命令启动集群。
但是jps命令没有出现jobotracker和tasktracker，所以它们似乎没有启动。
你明白为什么吗？我正在安装版本2.6.2..。
在执行命令start-dfs.sh之后，将显示如下：
[hadoopadmin@hadoop ~]$ start-dfs.sh
16/03/23 12:17:19 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java cl
浏览 0提问于2016-03-23得票数 0
回答已采纳
在启动hadoop时，我遇到了一个非常奇怪的问题。
当我使用绝对路径/usr/local/hadoop/etc/hadoop/sbin/start-dfs.sh调用start-dfs.sh时，它启动时没有任何问题。
但是当我将hadoop添加到我的环境变量中时：
export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export
浏览 1提问于2020-10-26得票数 0
1回答
运行start-dfs.sh和start-yarn.sh，然后运行jps，将提供以下输出：
8227 ResourceManager
8328 NodeManager
7804 NameNode
8366 Jps
8077 SecondaryNameNode
7901 DataNode
如果我在大约5秒后运行jps，输出是：
7804 NameNode
8473 Jps
8077 SecondaryNameNode
7901 DataNode
由于某些原因，两个纱线守护进程(ResourceManager和NodeManager)停止工作。知道为什么会发生这种事吗？
浏览 0提问于2013-12-25得票数 1
回答已采纳
我有两个安装Ubuntu12.04的VM。我正在尝试设置Hadoop多项式，但是在执行hadoop/sbin/start-dfs.sh之后，我在我的主程序上看到了以下过程：
20612 DataNode
20404 NameNode
20889 SecondaryNameNode
21372 Jps
然而，奴隶身上什么也没有。同样，当我做hdfs dfsadmin -report时，我只看到：
Live datanodes (1):
Name: 10.222.208.221:9866 (master)
Hostname: master
我检查了日志，我的start-dfs.sh甚至没有尝试在
浏览 3提问于2018-04-21得票数 5
3回答
我已经安装了hadoop，我设置了JAVA_HOME，但是仍然得到了这个错误，为什么？
/opt/hadoop/2.5.1/sbin: $JAVA_HOME
-bash: /opt/java/6.0: Is a directory
/opt/hadoop/2.5.1/sbin: ./start-dfs.sh
Starting namenodes on [localhost]
localhost: Error: JAVA_HOME is not set and could not be found.
localhost: Error: JAVA_HOME is not set and coul
浏览 6提问于2014-09-23得票数 0
回答已采纳
我正在尝试在集群中安装hadoop (2.7) (两台机器hmaster和hslave1)。我在/opt/ /文件夹中安装了hadoop，但是当我运行命令start-dfs.sh时，我得到了以下错误：
hmaster: starting namenode, logging to /opt/hadoop/logs/hadoop-hadoop-namenode-hmaster.out
hmaster: starting datanode, logging to /opt/hadoop/logs/hadoop-hadoop-datanode-hmaster.out
hslave1: mkdir:
浏览 2提问于2017-01-20得票数 0
我尝试使用以下命令通过Sqoop导入数据。
sqoop import -connect jdbc:mysql://localhost/test_sqoop --username root --table test
但是我得到了连接拒绝错误.
我发现我无法连接到mysql，并得到了以下错误：
Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock'
我还发现如果我不执行start-dfs.sh，mysql.sock就存在于/var/lib/mysql/mysql.sock中
浏览 1提问于2016-07-17得票数 0
1回答
我需要使用以下命令运行两台服务器：
cd /home/hadoop/apache-hive-3.1.1-bin/
sudo hiveserver2
和
sudo /opt/hue/build/env/bin/hue runserver
因此，我将这两个命令放入一个script.sh (以及其他内容)中：
$HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/start-yarn.sh
cd /home/hadoop/apache-hive-3.1.1-bin/
hiveserver2 &
sudo /opt/hue/build/en
浏览 0提问于2019-06-14得票数 0
回答已采纳
23回答
我目前正在运行CentOs的服务器上配置hadoop。当我运行start-dfs.sh或stop-dfs.sh时，会得到以下错误：
警告util.NativeCodeLoader:无法为您的平台加载本机hadoop库.在适用的情况下使用内置java类
我正在运行Hadoop2.2.0。
在线搜索显示了以下链接：
但是，Hadoop2.x上的/native/目录的内容似乎不同，所以我不知道该做什么。
我还在hadoop-env.sh中添加了这两个环境变量
导出HADOOP_OPTS="$HADOOP_OPTS -Djava.Library ary.path=/usr/$HADO
浏览 13提问于2013-11-13得票数 312
回答已采纳
我看到有几种方法可以启动hadoop生态系统，
start-all.sh & stop-all.sh表示不推荐使用start-dfs.sh & start-yarn.sh。
start-dfs.sh, stop-dfs.sh and start-yarn.sh, stop-yarn.sh
hadoop-daemon.sh namenode/datanode and yarn-deamon.sh resourcemanager
编辑:我认为每个命令都必须有一些特定的用例。
浏览 5提问于2013-07-10得票数 45
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
