专栏首页实时计算超详细,Windows系统搭建Flink官方练习环境

超详细,Windows系统搭建Flink官方练习环境

如何快速的投入到Flink的学习当中,很多人在搭建环境过程中浪费了太多的时间。一套一劳永逸的本机Flink开发环境可以让我们快速的投入到Flink的学习中去,将精力用在Flink的原理,实战。这也对于工作和面试有着巨大帮助。

​ 本文将利用Flink的官方练习环境,在本地Windows系统中快速的搭建Flink环境,并详细的记录整个搭建过程。

文中所有的安装包可以在后台回复 “flink0907” 获取

Flink的环境搭建需要一定的时间,有多种方法可以在各种环境中部署和操作Apache Flink。不管这种多样性如何,Flink群集的基本组成都相同,并且适用类似的操作原理。

如何快速的搭建一套Flink与Kafka的本地环境,供我们开发学习使用呢?

Flink官网提供了一个环境,在这个环境中可以学习如何管理和运行Flink Jobs。可以学习如何部署和监视应用程序,体验Flink如何从作业失败中恢复,以及执行日常操作任务,例如升级和缩放。

Flink官方提供了一套学习环境,本文将详细介绍这套环境的搭建与使用过程。

此环境由一个Flink 集群和一个Kafka群集组成。

Flink群集始终由一个Flink Master 和一个或多个 Flink TaskManager 组成。Flink Master负责处理作业提交,作业的监督以及资源管理。Flink TaskManager是工作进程,负责执行构成Flink作业的实际任务执行。

启动时,名为Flink Event Count的Flink作业将提交给JobManager。此外,还将创建两个Kafka Topics 输入输出

git

https://git-scm.com/downloads

初始化

git config user.name "jack"(配置用户名)

(查看用户名命令git config user.name)

git config user.email "8888888@qq.com"(配置邮箱)

(查看邮箱命令git config user.email)

docker

首先登陆docker官网,下载相应的docker安装包。

https://www.docker.com/get-started

大概300多M,耐心等待~

首先,在本机安装git环境。

下载flink-playgrounds源代码。

git clone --branch release-1.11 https://github.com/apache/flink-playgrounds.git

进行安装

Docker可以帮我们开启Hyper-V

等待安装成功

cd flink-playgrounds/operations-playground
docker-compose build

开始构建环境,需要下载的内容较多,耐心等待~

最终下载成功

启动环境

docker-compose up -d

也需要下载一会等待启动成功

查看正在运行的docker容器

docker-compose ps

请注意flink webUI监听的端口,我的为8081

查看管理页面

通过http://localhost:8081访问Flink管理页面

大功告成了~ 下次开机的时候,

cd flink-playgrounds/operations-playground
docker-compose up -d
docker-compose ps

就可以非常方便的开启Flink的研发环境了~

下面列举一些简单的操作。

常见操作

如果需要停止开发环境

docker-compose down -v

查看日志

JobManager日志可以通过添加docker-compose查看

docker-compose logs -f jobmanager

TaskManager日志也可以

docker-compose logs -f taskmanager

Flink CLi

docker-compose run --no-deps client flink --help

Flink RestAPI

curl localhost:8081/jobs

Kafka 操作命令

//input topic (1000 records/s)
docker-compose exec kafka kafka-console-consumer.sh \
  --bootstrap-server localhost:9092 --topic input

//output topic (24 records/min)
docker-compose exec kafka kafka-console-consumer.sh \
  --bootstrap-server localhost:9092 --topic output

具体操作

列出正在运行的作业

docker-compose run --no-deps client flink list

观察故障与恢复

1、观察输出

docker-compose exec kafka kafka-console-consumer.sh \
  --bootstrap-server localhost:9092 --topic output

2、模拟故障

这里模拟TaskManager进程的丢失

docker-compose kill taskmanager

几秒钟后,JobManager将注意到TaskManager丢失,取消受影响的Job,然后立即重新提交以进行恢复。

3、恢复

docker-compose up -d taskmanager

重新启动TaskManager后,它将重新连接到JobManager

更多Flink,Kafka,Spark等相关技术博文,科技资讯,欢迎关注实时流式计算 公众号后台回复 “电子书” 下载300页Flink实战电子书

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Flink,Storm,SparkStreaming性能对比

    该应用程序从 Kafka 消费广告曝光消息,从 Redis 查找每个广告对应的广 告宣传活动,并按照广告宣传活动分组,以 10 秒为窗口计算广告浏览量。 10 ...

    实时计算
  • Flink1.9整合Kafka

    我们知道可以自己来开发Source 和 Sink ,但是一些比较基本的 Source 和 Sink 已经内置在 Flink 里。

    实时计算
  • 超越Storm,SparkStreaming——Flink如何实现有状态的计算

    Storm需要自己实现有状态的计算,比如借助于自定义的内存变量或者redis等系统,保证低延迟的情况下自己去判断实现有状态的计算,但是Flink就不需要这样,而...

    实时计算
  • 「R」数据可视化21: Edge Bunding图

    本文作者蒋刘一琦,自嘲是一个有艺术追求的生信狗,毕业于浙江大学生物信息学专业,目前在复旦大学就读研究生,研究方向为宏基因组。

    王诗翔呀
  • Docker-Compose的一些常用命令

    Docker-Compose项目是Docker官方的开源项目,负责实现对Docker容器集群的快速编排。 Docker-Compose将所管理的容器分为三层,分...

    javascript.shop
  • docker-compose 使用介绍

    Docker-Compose项目是Docker官方的开源项目,负责实现对Docker容器集群的快速编排。Compose允许用户通过一个单独的docker-com...

    大江小浪
  • Docker-Compose环境搭建和部署SpringBoot项目

    3.进入cd util-linux-2.33目录,输入./configure --without-ncurses命令进行check

    用户2032165
  • Docker(四):Docker 三剑客之 Docker Compose

    前两篇文章我们介绍了 Dockerfile 的使用Docker(二):Dockerfile 使用介绍,我们知道使用一个 Dockerfile 模板文件可以定义一...

    纯洁的微笑
  • 3145 汉诺塔游戏

    3145 汉诺塔游戏  时间限制: 1 s  空间限制: 32000 KB  题目等级 : 白银 Silver  查看运行结果 题目描述 Description...

    attack
  • 阻击外挂——《龙之谷手游》安全测试的那点事

    随着智能手机的全面普及和市场泛娱乐化,移动游戏行业发展迅猛,无论是市场收入还是用户规模,手游在游戏市场上已经占据了半壁江山。如此火热的市场吸引了大量外挂、辅助工...

    WeTest质量开放平台团队

扫码关注云+社区

领取腾讯云代金券