flink1.13集群搭建,Standalone,HA高可用部署
原创flink1.13集群搭建,Standalone,HA高可用部署
原创
iginkgo18
修改于 2021-11-01 09:24:00
修改于 2021-11-01 09:24:00
1 基础环境
1.1 list
CentOS 7.9.2009
flink-1.13.1
jdk1.8.0_151
[root@op-node-221 ~]# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.0.220 flink01
192.168.0.221 flink02
192.168.0.222 flink03
192.168.0.223 flink04
192.168.0.224 flink051.2 主机清单
节点名 | IP | 软件版本 | 硬件 | 网络 | 说明 |
|---|---|---|---|---|---|
flink01 | 192.168.0.220 | list 里面都有 | 4c8g | Nat，内网 | 测试环境 |
flink02 | 192.168.0.221 | list 里面都有 | 4c8g | Nat，内网 | 测试环境 |
flink03 | 192.168.0.222 | list 里面都有 | 4c8g | Nat，内网 | 测试环境 |
2 部署 Standalone Cluster 单机模式(开发)
tar xf flink-1.13.1-bin-scala_2.12\(1\).tgz -C /opt/data/apps/
/opt/data/apps/flink-1.13.1/bin/start-cluster.sh 
3 集群模式(测试)
3.1 修改配置文件
vim /opt/data/apps/flink-1.13.1/conf/flink-conf.yaml
jobmanager.rpc.address: flink01
jobmanager.rpc.port: 6123
#jobmanager.heap.size: 1024m
taskmanager.memory.process.size: 1568m
taskmanager.numberOfTaskSlots: 3
parallelism.default: 3
# 修改/opt/data/apps/flink-1.13.1/conf/masters节点
[root@op-node-221 ~]# cat /opt/data/apps/flink-1.13.1/conf/masters
flink02:8081
[root@op-node-220 flink-1.13.1]# cat /opt/data/apps/flink-1.13.1/conf/masters
flink01:8081
[root@op-node-222 ~]# cat /opt/data/apps/flink-1.13.1/conf/masters
flink03:8081
# 修改/opt/data/apps/flink-1.13.1/conf/slaves节点
[root@op-node-222 ~]# cat /opt/data/apps/flink-1.13.1/conf/slaves
flink01
flink02
flink03
# 拷贝到其他两台机器,也可以压缩再传输过去
scp -r /opt/data/apps/flink-1.13.1/ flink02:/opt/data/apps/
scp -r /opt/data/apps/flink-1.13.1/ flink03:/opt/data/apps/
# 此处记得修改/opt/data/apps/flink-1.13.1/conf/flink-conf.yaml 里面的
jobmanager.rpc.address: flink01(此处为对应主机的主机名)3.2 启动集群
三台主机执行以下命令
/opt/data/apps/flink-1.13.1/bin/start-cluster.sh随后访问 http://IP:8081/
可以看到有3个Task Managers，1个Job Manager 为bigdata1
可以看到有3个Task Managers，1个Job Manager;
4 HA高可用模式(生产)
目前没用，hadoop,hdfs说是后面要独立出来;
- 对应hadoop版本下载
我使用的hadoop版本为:hadoop-2.6.5 对应依赖包:下载
其他版本:下载
- 把依赖包放在flink 的 lib 目录下
- 配置环境变量
vi /etc/profile
# 添加环境变量
export HADOOP_CONF_DIR=/home/admin/hadoop-2.6.5/etc/hadoop
# 环境变量生效
source /etc/profile4.1 修改conf/flink-conf.yaml配置文件
修改如下几个参数
high-availability: zookeeper
high-availability.storageDir: hdfs://bigdata1/flinkha/
high-availability.zookeeper.quorum: bigdata1:2181
high-availability.zookeeper.path.root: /flink
state.checkpoints.dir: hdfs:///flink/checkpoints
state.savepoints.dir: hdfs:///flink/savepoints4.2 启动hdfs
关于hadoop的配置文件与启动方式在这就不赘述了;
4.3 启动Flink中Zookeeper
进入flink文件夹
./bin/start-zookeeper-quorum.sh
jps查看是否启动4.4 启动Flink
/opt/data/apps/flink-1.13.1/bin/start-cluster.sh 分别打开访问:
两个页面都可以查看集群信息
4.5 测试
我们可以 kill掉bigdata1机器上的Job Manager,然后备用(bigdata2)Job Manager也是可以使用的;
- 再启动bigdata1的Job Manager
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
评论
登录后参与评论
推荐阅读
目录