专栏首页cwl_Java大数据-Hadoop环境搭建

大数据-Hadoop环境搭建

2:环境搭建

在 Hadoop 具体开始前, 先来搭建一下环境

  1. 创建虚拟机
    1. 安装虚拟机 VMWare
    2. 创建虚拟机
    3. 安装 CentOS
    4. 组成集群
  2. 配置每台主机
    1. 关闭防火墙
    2. 关闭 SELinux
    3. 设置主机名
    4. 重启
    5. 设置时钟同步服务
    6. 配置用户权限
    7. 免密登录
  3. 安装辅助软件
    1. JDK
    2. Zookeeper
  4. 安装 Hadoop
    1. 下载并解压
    2. 修改配置
    3. 分发到每个节点
    4. 格式化 HDFS
    5. 启动集群

创建虚拟机

1:通过ISO镜像安装

2: 直接复制安装好的虚拟机

注意事项:windows系统确认所有的关于VmWare的服务都已经启动,

确认好VmWare生成的网关地址,另外确认VmNet8网卡已经配置好了IP地址。

  1. 网络模式
  2. 内存设置
  3. 规划集群, 创建多台虚拟机

1. 网络模式详解

  • 桥接
    • 把虚拟出来的网卡直接连接外部的路由器, 看起来就好像是网络中多出了一台真正的计算机一样
    • 从路由器来看, 虚拟机等同于局域网内其它的物理机
  • NAT
    • 在宿主机中创建一个子网, 把虚拟机放入子网中, 子网中有一个NAT服务
  • 仅主机
    • 创建子网, 把虚拟机放入这个子网

2. 内存设置

  • 需要三台虚拟机, 并且需要同时运行, 所以总体上的占用为: 每台虚拟机内存×3每台虚拟机内存 \times 3每台虚拟机内存×3
  • 在分配的时候, 需要在总内存大小的基础上, 减去1-2G作为系统内存, 剩余的除以3, 作为每台虚拟机的内存

每台机器的内存=(总内存−4)÷3每台机器的内存 = \left ( 总内存 - 4\right ) \div 3每台机器的内存=(总内存−4)÷3

3. 集群规划

IP

主机名

环境配置

安装

192.168.174.100

node01

关防火墙和selinux, host映射, 时钟同步

JDK, NameNode, ResourceManager, Zookeeper

192.168.174.120

node02

关防火墙和selinux, host映射, 时钟同步

JDK, DataNode, NodeManager, Zeekeeper

192.168.174.130

node03

关防火墙和selinux, host映射, 时钟同步

JDK, DataNode, NodeManager, Zeekeeper

4:设置ip和Mac地址

更改mac地址:

vim /etc/udev/rules.d/70-persistent-net.rules

更改IP地址:

vim /etc/sysconfig/network-scripts/ifcfg-eth0

修改主机名(重启后永久生效)

vi /ect/sysconfig/network

HOSTNAME=node01

设置ip和域名映射

vim /etc/hosts

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • JVM性能调优-Java内存区域JAVA虚拟机栈

    cwl_java
  • JVM性能调优-实战应⽤之使⽤虚拟机⼯具JPS

    **JPS (JVM Process Status Tool)**是其中的典型jvm⼯具。除了名字像 UNIX 的 ps 命令之外,它的功能也和 ps 命令类似...

    cwl_java
  • Java工具集-字符(CharUtil)

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 ...

    cwl_java
  • Java虚拟机详解(七)------虚拟机监控和分析工具(1)——命令行

      通过前面的几篇博客,我们介绍了Java虚拟机的内存分配以及内存回收等理论知识,了解这些知识对于我们在实际生产环境中提高系统的运行效率是有很大的帮助的。但是话...

    IT可乐
  • iPhone7手机信号显示成数字如何设置?

    Youngxj
  • 编程面试问题真的越难越好吗?No!

    编程面试的问题其实没必要那么难,原因不仅是因为这种面试会给人带来巨大的压力。我们的数据表明,难度较大的编程面试问题在预测最终工作能力方面还不如简单的问题。

    机器之心
  • 编程面试问题太难,真的没必要

    在有时间压力的条件下编程是很困难的。在面试中尤其如此。正常情况下看似简单的编码练习,在面试室的明亮灯光下,不知怎的会变成一项艰巨的挑战。在面试中,压力荷尔蒙会影...

    新智元
  • 化繁为简的一页纸思考法

    在这个快节奏的时代,每天新概念、新名词、新思想应接不暇。每个人或多或少都存在焦虑感,年轻人焦虑未来、父母焦虑小孩、小孩焦虑考试。这人群中,创业者和企业家人群尤为...

    mixlab
  • 产品经理最小技能指南之化繁为简的一页纸思考法

    在这个快节奏的时代,每天新概念、新名词、新思想应接不暇。每个人或多或少都存在焦虑感,年轻人焦虑未来、父母焦虑小孩、小孩焦虑考试。这人群中,创业者和企业家人群尤为...

    mixlab
  • MY Wiki

    歪先生

扫码关注云+社区

领取腾讯云代金券