003. Flink Local模式安装以及基于Local模式运行程序

CoderJed

发布于 2019-07-25 16:50:16

1.8K0

发布于 2019-07-25 16:50:16

文章被收录于专栏：Jed的技术阶梯

需要环境

JDK-1.8+

软件下载

截至2019-07-24，Flink的最新稳定版为1.8.1，以下是下载地址：

http://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.8.1/flink-1.8.1-bin-scala_2.11.tgz

1. 安装过程

(1) 上传到服务器并解压

tar -zxvf flink-1.8.1-bin-scala_2.11.tgz

(2) 无需修改任何配置，直接启动

[hadoop@beh07 flink-1.8.1]$ bin/start-cluster.sh 
Starting cluster.
Starting standalonesession daemon on host beh07.
Starting taskexecutor daemon on host beh07.
[hadoop@beh07 flink-1.8.1]$ jps
10497 TaskManagerRunner
10053 StandaloneSessionClusterEntrypoint
10522 Jps

(3) 访问WEB页面

(4) 停止Local集群

[hadoop@beh07 flink-1.8.1]$ bin/stop-cluster.sh

2. 基于Local模式运行应用程序

(1) 项目打包上传到服务器

因为服务器上的Flink安装目录下已经有了Flink的基础jar包，所以打包时应该把Flink的基础包的范围设置为provided，而在idea中直接运行代码的时候，应该设置这些基础包的范围为compile。

<properties>
    <flink.version>1.8.1</flink.version>
    <scala.binary.version>2.11</scala.binary.version>
</properties>

<dependencies>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-java</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
    </dependency>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-streaming-java_${scala.binary.version}</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
    </dependency>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-scala_${scala.binary.version}</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
    </dependency>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-streaming-scala_${scala.binary.version}</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
    </dependency>
</dependencies>

上传的应用程序的jar包应该选择带有全部依赖的jar包。

(2) 运行应用程序jar包

确定Flink集群启动
服务器监听9999端口，等待输入

nc -lk 9999

提交任务

[hadoop@beh07 flink-1.8.1]$ bin/flink run \
> --class com.bairong.flink.java.SocketWindowWordCountJava \ # 指定主类
> /tmp/app/learnning-flink-1.0-jar-with-dependencies.jar \ # jar包路径
> --host beh07 --port 9999 # 程序的参数