003. Flink Local模式安装以及基于Local模式运行程序


需要环境

  • JDK-1.8+

软件下载

截至2019-07-24,Flink的最新稳定版为1.8.1,以下是下载地址:


1. 安装过程

(1) 上传到服务器并解压

tar -zxvf flink-1.8.1-bin-scala_2.11.tgz

(2) 无需修改任何配置,直接启动

[hadoop@beh07 flink-1.8.1]$ bin/start-cluster.sh 
Starting cluster.
Starting standalonesession daemon on host beh07.
Starting taskexecutor daemon on host beh07.
[hadoop@beh07 flink-1.8.1]$ jps
10497 TaskManagerRunner
10053 StandaloneSessionClusterEntrypoint
10522 Jps

(3) 访问WEB页面

(4) 停止Local集群

[hadoop@beh07 flink-1.8.1]$ bin/stop-cluster.sh

2. 基于Local模式运行应用程序

(1) 项目打包上传到服务器

因为服务器上的Flink安装目录下已经有了Flink的基础jar包,所以打包时应该把Flink的基础包的范围设置为provided,而在idea中直接运行代码的时候,应该设置这些基础包的范围为compile。

<properties>
    <flink.version>1.8.1</flink.version>
    <scala.binary.version>2.11</scala.binary.version>
</properties>

<dependencies>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-java</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
    </dependency>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-streaming-java_${scala.binary.version}</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
    </dependency>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-scala_${scala.binary.version}</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
    </dependency>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-streaming-scala_${scala.binary.version}</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
    </dependency>
</dependencies>

上传的应用程序的jar包应该选择带有全部依赖的jar包。

(2) 运行应用程序jar包

  • 确定Flink集群启动
  • 服务器监听9999端口,等待输入
nc -lk 9999
  • 提交任务
[hadoop@beh07 flink-1.8.1]$ bin/flink run \
> --class com.bairong.flink.java.SocketWindowWordCountJava \ # 指定主类
> /tmp/app/learnning-flink-1.0-jar-with-dependencies.jar \ # jar包路径
> --host beh07 --port 9999 # 程序的参数

(3) 测试

<1> 在nc监听的终端输入测试数据

<2> 查看计算结果

查看计算结果有两种方式:

  • 在WEB-UI查看
  • 查看服务器上的日志

<3> 停止任务

停止任务有两种方式:

  • 在WEB-UI停止任务
  • 使用命令停止任务

首先在WEB-UI确定任务的job-id

使用flink cancel [job-id]命令停止任务

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券