前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >一文搞懂Flink生成StreamGraph

一文搞懂Flink生成StreamGraph

作者头像
shengjk1
发布2020-09-25 11:15:38
5660
发布2020-09-25 11:15:38
举报
文章被收录于专栏:码字搬砖码字搬砖

1.前言

通过一文搞懂这一系列的文章,我们已经知道了,Flink 作业的提交过程:

在这里插入图片描述
在这里插入图片描述

这篇文章主要聚焦在

在这里插入图片描述
在这里插入图片描述

我们以简单的代码为例

代码语言:javascript
复制
/**
 * @author shengjk1
 * @date 2018/11/23
 */
public class FlinkJava8Demo {
	public static void main(String[] args) throws Exception {
		StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
		DataStreamSource<Integer> source = env.fromElements(1, 2, 3, 4, 5);
		
		source.flatMap((Integer number, Collector<String> out)->{
			StringBuilder builder = new StringBuilder();
			for (int i = 0; i < number; i++) {
				builder.append("a");
				out.collect(builder.toString());
			}
		}).returns(Types.STRING).print();
		
		source.map(i-> Tuple2.of(i,i))
				.returns(Types.TUPLE(Types.INT,Types.INT))
				.print();
		
		env.execute("aa");
	}
}

2.FlatMap 的转化

代码语言:javascript
复制
public <R> SingleOutputStreamOperator<R> flatMap(FlatMapFunction<T, R> flatMapper, TypeInformation<R> outputType) {
		return transform("Flat Map", outputType, new StreamFlatMap<>(clean(flatMapper)));
	}

flatMap 是 DataStream 的一个方法或者就是我们常数的算子,而 StreamFlatMap 其实才是 StreamOperator

在这里插入图片描述
在这里插入图片描述

transform 方法

代码语言:javascript
复制
protected <R> SingleOutputStreamOperator<R> doTransform(
			String operatorName,
			TypeInformation<R> outTypeInfo,
			StreamOperatorFactory<R> operatorFactory) {
		// read the output type of the input Transform to coax out errors about MissingTypeInfo
		transformation.getOutputType();
		OneInputTransformation<T, R> resultTransform = new OneInputTransformation<>(
				this.transformation,
				operatorName,
				operatorFactory,
				outTypeInfo,
				environment.getParallelism());
		@SuppressWarnings({"unchecked", "rawtypes"})
		// DataStream 的一个子类
		SingleOutputStreamOperator<R> returnStream = new SingleOutputStreamOperator(environment, resultTransform);
		//添加 operator,成为 StreamGraph 的一个 operator
		getExecutionEnvironment().addOperator(resultTransform);
		// 返回 stream,供下游继续操作
		return returnStream;
	}

像 filter、map等都会进行类似的操作

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2020-09-24 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1.前言
    • 2.FlatMap 的转化
    领券
    问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档