前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Hadoop伪分布式安装_伪分布式安装

Hadoop伪分布式安装_伪分布式安装

作者头像
全栈程序员站长
发布2022-08-04 09:19:10
1940
发布2022-08-04 09:19:10
举报
文章被收录于专栏:全栈程序员必看

大家好,又见面了,我是你们的朋友全栈君。

1. jdk安装

代码语言:shell
复制
     解压:   tar -zxvf jdk-7u79-linux-x64.tar.gz -C /working/source
     添加到系统环境变量 :~/.bash_profile
代码语言:shell
复制
export JAVA_HOME="/working/source/jdk1.7.0_79"
CLASSPATH=$CLASSPATH.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

使得环境变量生效: source ~/.bash_profile 验证java是否配置成功: java -v 详细请参考 blog.csdn.net/u010961759/…

2. 安装ssh

代码语言:javascript
复制
  sudo yum/apt-get install ssh
  ssh-keygen -t rsa
  cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

3. 下载并解压hadoop

代码语言:javascript
复制
  下载:直接去cdh网站下载 wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz
   解压: tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C /working/source

配置

hadoop.evn.sh

代码语言:shell
复制
export JAVA_HOME=/working/source/jdk1.8.0_151  //配置java环境

/etc/host

代码语言:shell
复制
在 /etc/host 加上
127.0.0.1   bigdata-msenior01.kfk.com

core-site.xml

代码语言:shell
复制
先执行 mkdir /data/tmp 创建存储路径
然后修改core-site
<configuration>  
   <!--配置域名和端口-->
     <property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata-msenior01.kfk.com:8020</value>
    </property>
     <property>
   <!--配置存储路径-->
         <name>hadoop.tmp.dir</name>
         <value>/working/source/hadoop-2.6.0-cdh5.7.0/data/tmp</value>
    </property>
</configuration>

hdfs-site.xml

代码语言:shell
复制
  <property>
              <name>dfs.replication</name>
              <value>1</value>
 </property>

slaves

5 启动hdfs

代码语言:shell
复制
   格式化文件系统(仅第一次执行即可,不要重复执行)hdfs(hadoop) namenode -format
   启动:hdfs sbin/start-dfs.sh

检查是否启动成功

代码语言:shell
复制
jps 
    DataNode
    SecondaryNameNode
    NameNode

浏览器方式方式 bigdata-msenior01.kfk.com:50070

6 停止hdfs

代码语言:javascript
复制
sbin/stop-dfs.sh

Hadoop shell 的基本使用

hdfs dfs hdfs fs

发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/107146.html原文链接:https://javaforall.cn

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2022年4月2,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1. jdk安装
  • 2. 安装ssh
  • 3. 下载并解压hadoop
  • 配置
  • 5 启动hdfs
    • 6 停止hdfs
    • Hadoop shell 的基本使用
    相关产品与服务
    大数据
    全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
    领券
    问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档