大数据实时处理框架之flink win10快速部署

一、依赖环境安装

1、jdk和scala依赖下载

jdk1.8

scala12.11：https://www.scala-lang.org/download/

2、flink1.9.0下载

flink官方中文文档：https://flink.apache.org/zh/downloads.html

flink1.9.0安装包：https://archive.apache.org/dist/flink/flink-1.9.0/

二、环境变量配置

1、FLINK_HOME变量配置

2、将FLINK_HOME\bin变量加入path

三、启动运行flink

1、启动flink

打开cmd，执行

start-cluster

2、访问WEB UI

http://localhost:8081

3、cmd命令行执行flink demo

cmd 进入 fink 的 bin 目录

cd %FLINK_HOME%\bin && D:

执行官方 demo wordcount.jar 统计 readme.txt 文件的单词个数，将结果输出到 wordcount.txt 文件

flink run %FLINK_HOME%\examples\batch\WordCount.jar -input %FLINK_HOME%\README.txt --output %FLINK_HOME%\wordcount.txt

4、WEB页面上传jar包执行

点击 Add New 上传本地 jar 包

上传之后点击 submit 提交

四、监控 flink JVM使用资源

1、运行 jdk 的 jvisualvm 客户端

进入jdk bin目录下执行 jvisualvm.exe 

选择 org.apache.flink.runtime.taskexecutor.TaskManagerRunner，点击监视查看TaskManager进程的资源利用

其他运行在JVM的任务也可以在 Java VisualVM 客户端下查看

五、一键启动脚本

1、win10搭建kafka环境

https://cloud.tencent.com/developer/article/1818695

2、win10搭建flink环境

https://cloud.tencent.com/developer/article/1818696

3、一键启动脚本

start-all.cmd

start %KAFKA_HOME%\bin\windows\zookeeper-server-start %KAFKA_HOME%\config\zookeeper.properties
start %KAFKA_HOME%\bin\windows\kafka-server-start %KAFKA_HOME%\config\server.properties
start %FLINK_HOME%\bin\start-cluster

执行此脚本可以多窗口同时启动 kafka flink