前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Flink-1.9流计算开发:二、Map函数

Flink-1.9流计算开发:二、Map函数

作者头像
cosmozhu
发布2020-06-15 06:46:13
5560
发布2020-06-15 06:46:13
举报
文章被收录于专栏:cosmozhu技术篇cosmozhu技术篇

整体来讲一个流处理过程可以划分为三部分DataSource、Transformations、Sinks。DataSource用来产生或者获取数据流,Transformations对数据流做转换,Sinks作为数据的出口输出到将数据输出到数据库,文件等系统,不过Transformations、Sinks并不是必须的。

在上一篇文章Flink-1.9流处理开发:一、最初的开始HELLO WORLD的hello world例子中的流处理过程就是由DataSource和Sinks组成的。

需求

本篇文章实现一个很简单的逻辑,创建一个数据流{"apple","orange","banana","watermelon"},将数据流的单词做大写转换,然后将其打印出来。

解决方案

代码语言:javascript
复制
public class StreamTest {
    private static final Logger LOG = LoggerFactory.getLogger(StreamTest.class);
    public static void main(String[] args) throws Exception {
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        String[] words = {"apple","orange","banana","watermelon"};
        //创建DataSource
        //根据给定的元素创建一个数据流,元素必须是相同的类型,比如全部为String,或者全部为int。
        DataStreamSource ds = env.fromElements(words);
        //Transformations
        //对DataStream应用一个Map转换。对DataStream中的每一个元素都会调用MapFunction接口的具体实现类。map方法仅仅只返回一个元素,这个flatMap不同
        DataStream map = ds.map(new MapFunction() {
            @Override
            public String map(String value) throws Exception {
                return value.toUpperCase();
            }
        });
        //sinks打印出信息
        //给DataStream添加一个Sinks
        map.addSink(new SinkFunction() {
            @Override
            public void invoke(String value) throws Exception {
                LOG.info(value);
            }
        });

        env.execute("Flink Streaming Java API Skeleton");
    }
}

执行效果

代码语言:javascript
复制
15:03:05,937 INFO  fun.cosmozhu.session2.StreamTest                              - WATERMELON
15:03:05,937 INFO  fun.cosmozhu.session2.StreamTest                              - ORANGE
15:03:05,937 INFO  fun.cosmozhu.session2.StreamTest                              - APPLE
15:03:05,937 INFO  fun.cosmozhu.session2.StreamTest                              - BANANA

代码地址

https://github.com/chaoxxx/learn-flink-stream-api/blob/master/src/main/java/fun/cosmozhu/session2/StreamTest.java


作者:cosmozhu --90后的老父亲,专注于保护地球的程序员

个人网站:https://www.cosmozhu.fun

欢迎转载,转载时请注明出处。

相关文章

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 需求
  • 解决方案
  • 执行效果
  • 代码地址
    • 相关文章
    相关产品与服务
    对象存储
    对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
    领券
    问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档