首页
学习
活动
专区
工具
TVP
发布

大数据环境搭建->hadoop-安装教程

Hadoop简介

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算,本教程将指导如何用苹果macOS系统安装Hadoop。

附Hadoop架构图:

环境说明

macOS Mojave 10.14.3

JDK 1.8.0_144

hadoop 3.1.1

homebrew

Homebrew安装

HomeBrew 是OSX中的方便的套件管理工具。采用Homebrew安装Hadoop非常简洁方便(中文官网:http://brew.sh/index_zh-cn.html)

复制如下代码安装:

配置 ssh localhost(免密登录)

因为安装hadoop需要远程登入的功能,所以需要安装ssh工具,但Mac下自带ssh,所以不需要安装ssh。可以通过如下命令验证:

Mac OS X只需在系统偏好设置-->共享-->远程登录勾选就可以使用ssh了。

注意:如果没有执行远程登陆勾选操作,在运行ssh localhost的时候会出现:mac ssh: connect to host localhost port 22: Connection refused。

ssh免密设置:终端输入

ssh-keygen -t rsa -P""cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys

确认能否不输入口令就用ssh登录localhost:

$ ssh localhost

JDK安装

查看java版本

$ java -version

终端输出如下

brew 安装 hadoop

安装命令

$ brew install hadoop

安装结果

查看安装目录

$ brewlisthadoop

配置Hadoop相关文件(此处伪分布式,还有单机模式和完全分布式模式)

改,添加内容如下:

改,添加如下内容:

改,添加内容如下:

改,添加内容如下:

变量dfs.replication指定了每个HDFS默认备份方式通常为3, 由于我们只有一台主机和一个伪分布式模式的DataNode,将此值修改为1。

配置完毕,运行hadoop

跳转目录

cd /usr/local/Cellar/hadoop/3.1.1/bin/

启动hadoop之前需要格式化hadoop系统的HDFS文件系统

$ hadoop namenode -format

接着进入

执行

$ ./start-all.sh

或者分开启动:

$ ./start-dfs.sh

警告:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 这对Hadoop的运行没有影响

jps命令查看java进程

通过访问以下网址查看hadoop是否启动成功

Resource Manager: http://localhost:9870

JobTracker: http://localhost:8088

Specific Node Information: http://localhost:8042

退出hadoop

进入目录

执行命令

$ ./stop-all.sh

运行界面截图

1. Resource Manager:

2.JobTracker:

3.Specific Node Information:

注:本文是参考https://www.jianshu.com/p/3859f57aa545博客搭建的,感谢初版作者的博客分享。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20190220G0L0KH00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券