Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >Hadoop无法访问50070端口

Hadoop无法访问50070端口

作者头像
smartsi
发布于 2019-08-07 02:05:27
发布于 2019-08-07 02:05:27
9.5K00
代码可运行
举报
文章被收录于专栏:SmartSiSmartSi
运行总次数:0
代码可运行

最近在搭建 Hadoop(3.1.2)环境时遇到了一件比较奇葩的问题。Hadoop 配置文件正常,各个守护进程正常启动,但是启动后无法在浏览器中访问 50070 端口,但是又可以访问 8088 端口:

参考网上的各中解决方案,有的方案没有解决我的问题,最终发现如下方案可以解决我的问题。有可能是 NameNode 初始化默认端口失效,于是决定手动修改配置文件设置默认端口:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
<property>
  <name>dfs.http.address</name>
  <value>localhost:50070</value>
</property>

然后重新格式化 NameNode,启动 Hadoop。最终访问正常:

重新格式化 NameNode 之前需要清空 dfs 下的 name 和 data 文件夹以解决 DataNode 无法启动的问题。具体配置路径在 hdfs-site.xml 中配置:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
<property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/Users/xxx/tmp/hadoop/dfs/name</value>
</property>
<property>
   <name>dfs.datanode.data.dir</name>
   <value>file:/Users/xxx/tmp/hadoop/dfs/data</value>
</property>
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2019-06-16,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
小白入门 · 腾讯云轻量服务器部署 Hadoop 3.3.6
Hadoop是一个由Apache基金会开发的开源分布式系统框架,旨在让用户能够轻松开发分布式应用程序,而无需深入了解底层的分布式细节。它能够充分利用集群计算的能力,进行高效的存储和处理大规模数据。
不惑
2024/11/15
2670
小白入门 · 腾讯云轻量服务器部署 Hadoop 3.3.6
Windows10系统下Hadoop和Hive开发环境搭建填坑指南
笔者目前需要搭建数据平台,发现了Windows系统下,Hadoop和Hive等组件的安装和运行存在大量的坑,而本着有坑必填的目标,笔者还是花了几个晚上的下班时候在多个互联网参考资料的帮助下完成了Windows10系统下Hadoop和Hive开发环境的搭建。这篇文章记录了整个搭建过程中的具体步骤、遇到的问题和对应的解决方案。
Throwable
2020/11/05
1.7K0
Windows10系统下Hadoop和Hive开发环境搭建填坑指南
Hadoop基础环境配置
这里如果自己配置了hostname,可以使用自己配置的hostname替换localhost,默认使用localhost,端口信息也可以自己指定为未使用的端口。
JonyChiao
2018/12/26
5250
win10搭建hadoop和spark
jdk8-x64:https://www.oracle.com/java/technologies/javase-jdk8-downloads.html
静谧星空TEL
2021/04/27
1.1K0
win10搭建hadoop和spark
hadoop安装
redhat 系 : yum install java-1.8.0-openjdk
Check King
2023/04/24
2810
hadoop安装
进击大数据系列(四):Hadoop 架构基石分布式文件系统 HDFS
随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。
民工哥
2023/08/22
5240
进击大数据系列(四):Hadoop 架构基石分布式文件系统 HDFS
CentOS7搭建Hadoop-3.3.0集群
这篇文章是基于Linux系统CentOS7搭建Hadoop-3.3.0分布式集群的详细手记。
Throwable
2020/12/29
2.3K0
WIN 10 安装 Hadoop 2.7.7 + Spark 2.4.7 记录
环境:win 10 + java 1.8.0_281 + Scala 2.11.11 + Hadoop 2.7.7 + Spark2.4.7
Michael阿明
2021/09/06
7330
记hadoop伪分布式安装
最近在系统性学习大数据相关知识,看了一些教学视频,因为教学视频录的比较早了,中间也踩了一些坑,这里记录一下hadoop3.3.0的整个安装过程。
zhangheng
2020/12/01
5240
Hadoop高可用集群部署指南
Hadoop是一个由Apache基金会所开发的分布式系统基础架构,用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
KenTalk
2018/09/11
1.3K1
Hadoop高可用集群部署指南
hadoop-2.8.3 配置安装
本文由 bytebye 创作 本站文章除注明转载/出处外,均为本站原创或翻译,转载前请务必署名
ByteBye
2019/09/24
1.1K0
【快速入门大数据】Hadoop分布式集群搭建
修改hadoop配置文件 /root/software/hadoop-2.6.0-cdh5.7.0/etc/hadoop
瑞新
2021/12/06
2250
【快速入门大数据】Hadoop分布式集群搭建
Hadoop2.0 federation的配置
上一篇文章《Hadoop2.0 federation介绍》(见http://www.linuxidc.com/Linux/2014-05/101179.htm )介绍了hadoop2.0 federation的基本架构和基本原理,本文接着先介绍单独配置federation,在下一篇文章中会继续介绍同时配置HA和federation。 1 准备
星哥玩云
2022/07/01
3510
Hadoop2.0 federation的配置
Hadoop2.2 单机测试程序WordCount
Hadoop wordcount程序是经典的hadoop入门测试程序,主要根据给出一堆文件file1、file2...,统计出file1、file2...中单词出现的次数。 我们在单机上测试运行这个程序,我的测试系统是Mac OS。 1 下载hadoop包,地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/ 2 安装到任意目录,我安装在 /usr/local, 解压。 3 配置环境变量: vi /etc/profile 将下面ADD进去。
星哥玩云
2022/06/28
3730
Hadoop学习4--安装Hadoop
首先献上Hadoop下载地址: http://apache.fayea.com/hadoop/core/ 选择相应版本,点一下,直接进行http下载了。  对原来写的一篇文章,相当不满意,过于粗糙了,于是删除重新再来。言归正传: 题前说明: 我一共三台机器,机器名分别是: master slave1 slave2 登录名统一是:master 我先在master机器上执行以下操作: 一、解压缩 这里需要说明下,根据网上的教程,解压缩后,把文件copy到/usr/目录下。在master机器启动的时候,一直提示,
小端
2018/04/16
1.1K0
Hadoop学习4--安装Hadoop
从零开始:手摸手教你用腾讯云服务器入门搭建Hadoop
特别是在业务团队项目中,面对海量数据的实时处理和分析,如何高效地管理和利用这些数据成为了一个关键问题
菜菜的后端私房菜
2024/11/18
3190
hadoop搭建完全分布式集群
后面的启动步骤可以用一步来代替,进入hadoop安装目录的sbin目录,执行:start-dfs.sh 。但建议还是按部就班来执行,比较可靠。
许喜朝
2020/10/27
4860
环境搭建-hadoop安装
有三台云服务,系统centOS7.6,为了能够尽可能“分布”一下,所以三台机器都作为计算节点,master机器担任NameNode节点,兼任一个DataNode节点,slave1兼任secondaryNameNode和DataNode节点。
数据仓库晨曦
2024/01/08
2580
环境搭建-hadoop安装
Hadoop(二)搭建伪分布式集群
前言   前面只是大概介绍了一下Hadoop,现在就开始搭建集群了。我们下尝试一下搭建一个最简单的集群。之后为什么要这样搭建会慢慢的分享,先要看一下效果吧! 一、Hadoop的三种运行模式(启动模式) 1.1、单机模式(独立模式)(Local或Standalone  Mode)   -默认情况下,Hadoop即处于该模式,用于开发和调式。   -不对配置文件进行修改。   -使用本地文件系统,而不是分布式文件系统。   -Hadoop不会启动NameNode、DataNode、JobTracker、Task
用户1195962
2018/01/18
2K0
Hadoop(二)搭建伪分布式集群
Hadoop3单机和伪分布式模式安装配置
为了体验HDFS和MapReduce框架,以及在HDFS上运行示例程序或简单作业,我们首先需要完成单机上的Hadoop安装。所依赖的软件环境如下:
职场亮哥
2020/10/10
2.1K0
相关推荐
小白入门 · 腾讯云轻量服务器部署 Hadoop 3.3.6
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验