推荐一个超详细的Hadoop安装教程,已有32万次点击量

1 安装双系统

安装Hadoop软件系列,首选Linux系统,比如Ubuntu。如果你的系统是Windows,建议再安装一个Ubuntu,组成双系统,如此可以发挥各自系统的特点。

使用U盘制作一个系统,拿出一块分区用作新装的系统,开机启动安装,选择新腾出来的空间后分为4个分区,大概过程就是如此。这块网上教程较多,可以参考。

2 教程来源

这个Hadoop教程是厦门大学林子雨老师团队出品的,介绍的可以说是非常非常专业、细致,按照这个教程,基本可以一次装好Hadoop. 教程的地址: http://dblab.xmu.edu.cn/blog/install-hadoop/

3 安装步骤

1) 创建Hadoop用户,非必须,建议新手参考这步去做 2) 更新 apt 3) 安装 ssh, 配置ssh无密码登入 4) 安装 Java 环境 5) 安装 Hadoop2 6) Hadoop的单机配置 7) Hadoop的伪分布式配置 8) 运行

4 易出错点

以上每个步骤最好都要检查一遍,它们都是相互依赖的。同时建议安装伪分布式版,主要涉及到两个配置文件:core-site.xml, hdfs-site.xml, 配置方式如下所示:

core-site.xml

hdfs-site.xml

通过执行 /sbin/start-dfs.sh 启动 Hadoop,如下图所示,创建了一个DataNode节点,两个NameNode节点。


原文发布于微信公众号 - Python与机器学习算法频道(alg-channel)

原文发表时间:2019-09-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券