前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Flink快速入门--安装与示例运行

Flink快速入门--安装与示例运行

作者头像
用户6070864
发布2019-08-30 15:29:50
1.8K0
发布2019-08-30 15:29:50
举报
文章被收录于专栏:实时流式计算

flink是一款开源的大数据流式处理框架,他可以同时批处理和流处理,具有容错性、高吞吐、低延迟等优势,本文简述flink在windows和linux中安装步骤,和示例程序的运行。

首先要想运行Flink,我们需要下载并解压Flink的二进制包,下载地址如下:https://flink.apache.org/downloads.html

我们可以选择Flink与Scala结合版本,这里我们选择最新的1.9版本Apache Flink 1.9.0 for Scala 2.12进行下载。

下载成功后,在windows系统中可以通过Windows的bat文件或者Cygwin来运行Flink。

在linux系统中分为单机,集群和Hadoop等多种情况。

通过Windows的bat文件运行

首先启动cmd命令行窗口,进入flink文件夹,运行bin目录下的start-cluster.bat

注意:运行flink需要java环境,请确保系统已经配置java环境变量。

代码语言:javascript
复制
$ cd flink
$ cd bin
$ start-cluster.bat
Starting a local cluster with one JobManager process and one TaskManager process.
You can terminate the processes via CTRL-C in the spawned shell windows.
Web interface by default on http://localhost:8081/.

显示启动成功后,我们在浏览器访问 http://localhost:8081/ 可以看到flink的管理页面。

通过Cygwin运行

Cygwin是一个在windows平台上运行的类UNIX模拟环境,官网下载:http://cygwin.com/install.html

安装成功后,启动Cygwin终端,运行start-cluster.sh脚本。

代码语言:javascript
复制
$ cd flink
$ bin/start-cluster.sh
Starting cluster.

显示启动成功后,我们在浏览器访问 http://localhost:8081/ 可以看到flink的管理页面。

Linux系统上安装flink

单节点安装

在Linux上单节点安装方式与cygwin一样,下载Apache Flink 1.9.0 for Scala 2.12,然后解压后只需要启动start-cluster.sh。

集群安装

集群安装分为以下几步:

1、在每台机器上复制解压出来的flink目录。

2、选择一个作为master节点,然后修改所有机器conf/flink-conf.yaml

代码语言:javascript
复制
jobmanager.rpc.address = master主机名

3、修改conf/slaves,将所有work节点写入

代码语言:javascript
复制
work01
work02

4、在master上启动集群

代码语言:javascript
复制
bin/start-cluster.sh
安装在Hadoop

我们可以选择让Flink运行在Yarn集群上。

下载Flink for Hadoop的包

保证 HADOOP_HOME已经正确设置即可

启动 bin/yarn-session.sh

运行flink示例程序

批处理示例:

提交flink的批处理examples程序:

代码语言:javascript
复制
bin/flink run examples/batch/WordCount.jar

这是flink提供的examples下的批处理例子程序,统计单词个数。

代码语言:javascript
复制
$ bin/flink run examples/batch/WordCount.jar
Starting execution of program
Executing WordCount example with default input data set.
Use --input to specify file input.
Printing result to stdout. Use --output to specify output path.
(a,5)
(action,1)
(after,1)
(against,1)
(all,2)
(and,12)
(arms,1)
(arrows,1)
(awry,1)
(ay,1)

得到结果,这里统计的是默认的数据集,可以通过--input --output指定输入输出。

我们可以在页面中查看运行的情况:

流处理示例:

启动nc服务器:

代码语言:javascript
复制
nc -l 9000

提交flink的批处理examples程序:

代码语言:javascript
复制
bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000

这是flink提供的examples下的流处理例子程序,接收socket数据传入,统计单词个数。

在nc端写入单词

代码语言:javascript
复制
$ nc -l 9000
lorem ipsum
ipsum ipsum ipsum
bye

输出在日志中

代码语言:javascript
复制
$ tail -f log/flink-*-taskexecutor-*.out
lorem : 1
bye : 1
ipsum : 4

停止flink

代码语言:javascript
复制
$ ./bin/stop-cluster.sh
本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-08-28,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 实时流式计算 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 通过Windows的bat文件运行
  • 通过Cygwin运行
  • Linux系统上安装flink
    • 单节点安装
      • 集群安装
        • 安装在Hadoop
        • 运行flink示例程序
          • 批处理示例:
            • 流处理示例:
            相关产品与服务
            大数据
            全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
            领券
            问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档