前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >IDEA上运行Flink任务

IDEA上运行Flink任务

作者头像
程序员欣宸
发布2020-05-26 14:32:35
2.7K0
发布2020-05-26 14:32:35
举报
文章被收录于专栏:实战docker

IDEA是常用的IDE,我们编写的flink任务代码如果能直接在IDEA运行,会给学习和开发带来很大便利,例如改完代码立即运行不用部署、断点、单步调试等;

环境信息

  1. 电脑:2019版13寸MacBook Pro,2.3 GHz 四核Intel Core i5,8 GB 2133 MHz LPDDR3
  2. 操作系统:macOS Catalina 10.15.3
  3. JDK:1.8.0_211
  4. Maven:3.6.0
  5. IDEA:2018.3.5 (Ultimate Edition)
  6. Flink版本:1.9.2

关于正版IDEA

如何免费使用正版IDEA,可以参考《免费申请和使用IntelliJ IDEA商业版License指南》

开发

  1. 首先确保您电脑上maven已装好;
  2. 创建一个flink任务的maven工程,找个干净目录执行以下命令:
代码语言:javascript
复制
mvn \
archetype:generate \
-DarchetypeGroupId=org.apache.flink \
-DarchetypeArtifactId=flink-quickstart-java \
-DarchetypeVersion=1.9.2
  1. 按提示输入groupId、artifactId、version、package等内容:
在这里插入图片描述
在这里插入图片描述
  1. 现在maven工程已生成,用IDEA导入这个工程,如下图:
在这里插入图片描述
在这里插入图片描述
  1. 以maven的类型导入:
在这里插入图片描述
在这里插入图片描述
  1. 导入成功后的样子:
在这里插入图片描述
在这里插入图片描述
  1. 修改StreamingJob.java,加入功能是监听本地18081端口,得到的字符串做word count操作,完整代码在此下载:https://raw.githubusercontent.com/zq2599/blog_demos/master/files/StreamingJob.java
在这里插入图片描述
在这里插入图片描述
  1. 现在的代码已经能运行,但flink网页却还不能访问,会显示以下错误信息,需要继续做些设置:
在这里插入图片描述
在这里插入图片描述
  1. 下载flink-1.9.2安装包,这里面有flink网页服务用到的一个jar,地址是:https://www-eu.apache.org/dist/flink/flink-1.9.2/flink-1.9.2-bin-scala_2.11.tgz
  2. flink-1.9.2-bin-scala_2.11.tgz下载后解压,在lib目录下有个flink-dist_2.11-1.9.2.jar文件,记住此文件的位置,稍后会用到;
  3. 回到IDEA,在项目上点击右键,点击菜单Open Module Settings:
在这里插入图片描述
在这里插入图片描述
  1. 在弹出的窗口做如下操作,目的是给项目中增加jar:
在这里插入图片描述
在这里插入图片描述
  1. 弹出选择文件的窗口,请选择刚才准备好的文件flink-dist_2.11-1.9.2.jar:
在这里插入图片描述
在这里插入图片描述
  1. 设置工作已经完成,由于StreamingJob的工作是读取本机18081端口的数据,所以我们要把18081端口的服务启动起来,不然StreamingJob运行时是连不上端口的,打开一个控制台,执行命令:nc -l 18081
  2. 现在可以将StreamingJob运行起来,如下图,右键点击StreamingJob,选择Run ‘StreamingJob.main()’:即可启动flink任务,如果想打断点调试,请选择Debug ‘StreamingJob.main()’
在这里插入图片描述
在这里插入图片描述
  1. 回到刚才执行nc命令的控制台,输入一些字符串,例如"aaa bbb aaa",然后回车;
  2. 再回到IDEA,可见StreamingJob已经从18081端口读到了数据并且输出了统计结果:
在这里插入图片描述
在这里插入图片描述
  1. 在IDEA的控制台搜索关键字localhost,如下图红框,可以查到flink网页的端口,我这里是62641:
在这里插入图片描述
在这里插入图片描述
  1. 浏览器访问http://localhost:62641,如下图,可见flink网页已经正常显示,正在运行的任务也能看到:
在这里插入图片描述
在这里插入图片描述

至此,最简单的IDEA运行flink任务的实战就完成了,如果您也在学习flink,希望本文能给您一些参考

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2020/04/11 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 环境信息
  • 关于正版IDEA
  • 开发
相关产品与服务
大数据
全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档