前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >003. Flink Local模式安装以及基于Local模式运行程序

003. Flink Local模式安装以及基于Local模式运行程序

作者头像
CoderJed
发布2019-07-25 16:50:16
1.8K0
发布2019-07-25 16:50:16
举报
文章被收录于专栏:Jed的技术阶梯

需要环境

  • JDK-1.8+

软件下载

截至2019-07-24,Flink的最新稳定版为1.8.1,以下是下载地址:


1. 安装过程

(1) 上传到服务器并解压

代码语言:javascript
复制
tar -zxvf flink-1.8.1-bin-scala_2.11.tgz

(2) 无需修改任何配置,直接启动

代码语言:javascript
复制
[hadoop@beh07 flink-1.8.1]$ bin/start-cluster.sh 
Starting cluster.
Starting standalonesession daemon on host beh07.
Starting taskexecutor daemon on host beh07.
[hadoop@beh07 flink-1.8.1]$ jps
10497 TaskManagerRunner
10053 StandaloneSessionClusterEntrypoint
10522 Jps

(3) 访问WEB页面

(4) 停止Local集群

代码语言:javascript
复制
[hadoop@beh07 flink-1.8.1]$ bin/stop-cluster.sh

2. 基于Local模式运行应用程序

(1) 项目打包上传到服务器

因为服务器上的Flink安装目录下已经有了Flink的基础jar包,所以打包时应该把Flink的基础包的范围设置为provided,而在idea中直接运行代码的时候,应该设置这些基础包的范围为compile。

代码语言:javascript
复制
<properties>
    <flink.version>1.8.1</flink.version>
    <scala.binary.version>2.11</scala.binary.version>
</properties>

<dependencies>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-java</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
    </dependency>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-streaming-java_${scala.binary.version}</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
    </dependency>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-scala_${scala.binary.version}</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
    </dependency>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-streaming-scala_${scala.binary.version}</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
    </dependency>
</dependencies>

上传的应用程序的jar包应该选择带有全部依赖的jar包。

(2) 运行应用程序jar包

  • 确定Flink集群启动
  • 服务器监听9999端口,等待输入
代码语言:javascript
复制
nc -lk 9999
  • 提交任务
代码语言:javascript
复制
[hadoop@beh07 flink-1.8.1]$ bin/flink run \
> --class com.bairong.flink.java.SocketWindowWordCountJava \ # 指定主类
> /tmp/app/learnning-flink-1.0-jar-with-dependencies.jar \ # jar包路径
> --host beh07 --port 9999 # 程序的参数

(3) 测试

<1> 在nc监听的终端输入测试数据

<2> 查看计算结果

查看计算结果有两种方式:

  • 在WEB-UI查看
  • 查看服务器上的日志

<3> 停止任务

停止任务有两种方式:

  • 在WEB-UI停止任务
  • 使用命令停止任务

首先在WEB-UI确定任务的job-id

使用flink cancel [job-id]命令停止任务

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2019.07.24 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1. 安装过程
    • (1) 上传到服务器并解压
      • (2) 无需修改任何配置,直接启动
        • (3) 访问WEB页面
          • (4) 停止Local集群
          • 2. 基于Local模式运行应用程序
            • (1) 项目打包上传到服务器
              • (2) 运行应用程序jar包
                • (3) 测试
                  • <1> 在nc监听的终端输入测试数据
                  • <2> 查看计算结果
                  • <3> 停止任务
              相关产品与服务
              大数据
              全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
              领券
              问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档