大数据环境搭建-Linux基础环境配置
版本准备
一定要注意各个版本的匹配
名称 | 版本 |
|---|---|
JDK | 1.8.0_221 |
Scala | 2.12.15 |
Spark | 3.1.3 |
Hadoop | 2.7.7 |
HBase | 1.5.0 |
注意
一定要保证开发环境和部署的环境保持一致！否则运行时会报各种错误。
服务器环境
服务器准备至少3台
192.168.160.130（master）
192.168.160.131（slave1）
192.168.160.132（slave2）虚拟机设置
固定服务器IP
进入到系统的IP地址保存文件所在目录
cd /etc/sysconfig/network-scripts修改保存IP信息的文件
你机器上的名字有可能不是这个，但是是以ifcfg-e开头的文件
vi ifcfg-ens33修改
ONBOOT=yes重启
service network restart安装
yum install -y net-tools修改
BOOTPROTO=dhcp为
BOOTPROTO=static添加IP配置
IPADDR=192.168.160.130
NETMASK=255.255.255.0
GATEWAY=192.168.160.2
DNS1=223.5.5.5保存:wq
注意网关地址怎么获取
编辑=>虚拟网络编辑器
也可以在服务器中查看
route -n可以看到
重启网络
service network restart查看网络状态
systemctl status network查看IP地址
ip addr禁用NetworkManager
systemctl stop NetworkManager
systemctl disable NetworkManager设置DNS
vi /etc/resolv.conf设置
search localdomain
nameserver 192.168.160.2注意
这里DNS服务器可以设置为网关的地址，也可以是公网的DNS服务器IP
关闭防火墙
查看防火墙状态
systemctl status firewalld查看开机是否启动防火墙服务
systemctl status firewalld关闭防火墙
systemctl stop firewalld
systemctl disable firewalld再次查看防火墙状态和开机防火墙是否启动
systemctl status firewalld
systemctl is-enabled firewalld关闭selinux
临时关闭selinux（立即生效，重启服务器失效）
setenforce 0 #临时关闭永久生效
vi /etc/selinux/config把
SELINUX=enforcing改为
SELINUX=disabled查看selinux状态
getenforce状态
disabled为永久关闭，permissive为临时关闭，enforcing为开启
关闭THP服务
关闭每台服务器的THP服务
vi /etc/rc.local添加
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
exit 0临时禁用THP服务
echo never > /sys/kernel/mm/transparent_hugepage/enabled查看
cat /sys/kernel/mm/transparent_hugepage/enabled同步时间
注意
分布式部署必须设置。
配置
yum install ntp -y添加任务
crontab -e内容
0 * * * * /usr/sbin/ntpdate cn.pool.ntp.org在 slave1和 slave2上分别添加(ip为主节点的IP)
vi /etc/ntp.conf配置为
server 192.168.160.130修改主机名和hosts文件
1、修改主机名(注意主机的hostname修改为不包含着. / _等非法字符。)
hostnamectl set-hostname master另两台
hostnamectl set-hostname slave1和
hostnamectl set-hostname slave2可以通过以下命令查看
vi /etc/hostname2、修改hosts文件
vi /etc/hosts配置为
192.168.160.130 master
192.168.160.131 slave1
192.168.160.132 slave2测试
ping master3、修改/etc/sysconfig/network
vi /etc/sysconfig/network内容
NETWORKING=yes
HOSTNAME=master4、设置最大打开文件数
ulimit -n 10000(也可以弄个永久设置)
5、重新生效网络
service network restart免密登陆
生成密钥对
mkdir ~/.ssh
cd ~/.ssh
#生成秘钥，之后一路回车即可，不需要输入任何内容。我之前已经生成过，所以提示是否overwrite。如果是第一次生成，不会有这个提示。
ssh-keygen -t rsa
#将公钥复制到制定文件
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
#测试ssh连接，首次连接需要输入yes，但不需要输入密码，之后不需要输入yes，如果能不输入密码连接，就配置成功了
ssh master登录 slave1,将公钥拷贝到 master的authorized_keys中
ssh-copy-id -i master登录 slave2,将公钥拷贝到 master的authorized_keys中
ssh-copy-id -i master在 master上修改文件权限
chmod 700 ~/.ssh
chmod 600 authorized_keys在 master上将authorized_keys文件复制到其他机器
scp /root/.ssh/authorized_keys root@slave1:/root/.ssh/authorized_keys
scp /root/.ssh/authorized_keys root@slave2:/root/.ssh/authorized_keys在 master上验证免密登陆，可以看到时间信息
ssh master date
ssh slave1 date
ssh slave2 date如果不配置的话，后来启动Hadoop的每个服务的时候会让输入密码。
如果Connection refused，可以执行
sudo systemsetup -f -setremotelogin on
# 执行
ssh master安装JDK
官方下载JDK 网址
或者 链接:https://pan.baidu.com/s/1JdPCMMEq178hXV5V4Ild3Q 密码:03l1
比如下载的文件为jdk-8u221-linux-x64.rpm
更改文件权限
chmod 755 jdk-8u221-linux-x64.rpm安装
rpm -ivh jdk-8u221-linux-x64.rpm安装后的路径为/usr/java/jdk1.8.0_221-amd64
删除文件
rm -rf jdk-8u221-linux-x64.rpm查询Java版本
java -version查看JAVA_HOME
echo $JAVA_HOME打开文件/etc/profile
vi /etc/profile在profile文件末尾加入：
export JAVA_HOME=/usr/java/jdk1.8.0_221-amd64
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar配置立即生效
source /etc/profile查看
echo $JAVA_HOME复制到另两台服务器
scp -r /usr/java/jdk1.8.0_221-amd64 root@ slave1:/usr/java
scp -r /usr/java/jdk1.8.0_221-amd64 root@ slave2:/usr/java小知识
在/etc/profile.d 目录中存放的是一些应用程序所需的启动脚本。
这些脚本文件之所以能够 被自动执行，是因为在/etc/profile 中使用一个for循环语句来调用这些脚本。
而这些脚本文件是用来设置一些变量和运行一些初始化过程的。
Linux 环境下/etc/profile和/etc/profile.d 的区别
- 两个文件都是设置环境变量文件的，两者都是永久性的环境变量,是全局变量，对所有用户生效
/etc/profile.d/比/etc/profile好维护，不想要什么变量直接删除/etc/profile.d/下对应的shell脚本即可， 不用像/etc/profile需要改动此文件