Spark开发环境搭建

1、软硬件环境 主机操作系统:windows 10, 64位 处理器:Intel(R) Core(TM)i5­7200U CPU @2.5GHz 2.70Hz 内存:8.0GB 虚拟软件:VMware Workstation 14 Pro 虚拟机操作系统:CentOS6.8(64位),双核,2G内存 虚拟机运行环境:hadoop­2.6.0.tar.gz、hbase­1.0.0­bin.tar.gz、jdk­7u80­linux­x64.tar.gz、scala2.10.4.tgz、spark­1.5.2­bin­hadoop2.6.tgz、zookeeper­3.4.6.tar.gz

2、集群网络环境

集群网络环境

3、系统设置 步骤1:关闭防火墙(root) chkconfig ­­level 2345 iptables off chkconfig ­­level 2345 ip6tables off /etc/init.d/iptables stop /etc/init.d/ip6tables stop

步骤2:配置主机名(root) vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=master hostname master #让主机名生效

步骤3:修改IP(root) eth0不需要修改 vim /etc/sysconfig/network­scripts/ifcfg­eth1 IPADDR=192.168.149.132 NETMASK=255.255.255.0 ONBOOT=yes BOOTPROTO=static

步骤4:配置Hosts文件(root) vim /etc/hosts 192.168.149.132 master 192.168.149.133 slave1 192.168.149.134 slave2

步骤5:配置同步时钟(root)

序号 IP地址 机器名 用户名 hadoop类型 zookeeper类型 hbase类型

1 192.168.149.132 master dong NameNode/Master

2 192.168.149.133 slave1 dong DataNode/Worker 3 192.168.149.134 slave2 dong DataNode/Worker

crontab ­e 0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org /usr/sbin/ntpdate cn.pool.ntp.org #手工同步

步骤6:安装JDK(root) A1:下载正确版本的JDK,需要1.7及以上版本 A2:解压JDK文件,并生成相应目录 mkdir /usr/java mv jdk­7u80­linux­x64.tar.gz /usr/java/ cd /usr/java tar ­zxvf jdk­7u80­linux­x64.tar.gz A3:配置环境变量,在文件未尾追加 vim /home/dong/.bash_profile export JAVA_HOME=/usr/java/jdk1.7.0_80 export PATH=$JAVA_HOME/bin:$PATH source /home/dong/.bash_profile A4:测试 java ­version

以下步骤在slave1和slave2节点上的root用户下重复操作

步骤7:免密钥登陆配置(dong) A1:master节点上通过下述命令生成密钥 ssh­keygen ­t rsa #所有确认项都直接回车,即空 A2:复制公钥文件 将其中的id_rsa.pub文件复制为authorized_keys文件,存放至~/.ssh中 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys ls ­l A3:修改authorized_keys文件的权限 chmod 600 ~/.ssh/authorized_keys A4:将authorized_keys文件复制到slave1、slave2节点 scp ~/.ssh/authorized_keys dong@slave1:~/ scp ~/.ssh/authorized_keys dong@slave2:~/ A5:在slave1、slave2节点上执行以下命令,分别生成密钥 ssh­keygen ­t rsa mv authorized_keys ~/.ssh/ cd ~/.ssh chmod 600 authorized_keys A6:验证免密钥登录 在master节点执行: ssh slave1 ssh slave2

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180419A0K1K600?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励