前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Flink-1.9流计算开发:十一、count-window-Sliding窗口函数

Flink-1.9流计算开发:十一、count-window-Sliding窗口函数

作者头像
cosmozhu
发布2020-06-15 06:44:03
5150
发布2020-06-15 06:44:03
举报
文章被收录于专栏:cosmozhu技术篇cosmozhu技术篇

Flink是下一代大数据计算平台,可处理流计算和批量计算。《Flink-1.9流计算开发:十一、count-window-Sliding》cosmozhu写的本系列文章的第十一篇。通过简单的DEMO来演示count-window-Sliding时间窗口函数执行的效果 。

需求

本篇文章,我们使用count-window-Sliding时间窗口,每5个订单统计一次最近20个订单的订单数量。

解决方案

代码语言:javascript
复制
public class StreamTest {
    private static final Logger LOG = LoggerFactory.getLogger(StreamTest.class);
    private static final String[] TYPE = { "苹果", "梨", "西瓜", "葡萄", "火龙果" };

    @SuppressWarnings("deprecation")
    public static void main(String[] args) throws Exception {
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        //添加自定义数据源,每秒发出一笔订单信息{商品名称,商品数量}
        DataStreamSource<Tuple2<String, Integer>> orderSource = env.addSource(new SourceFunction<Tuple2<String, Integer>>() {
            private volatile boolean isRunning = true;
            private final Random random = new Random();
            @Override
            public void run(SourceContext<Tuple2<String, Integer>> ctx) throws Exception {
                while (isRunning) {
                    TimeUnit.SECONDS.sleep(1);
                    ctx.collect(Tuple2.of(TYPE[random.nextInt(TYPE.length)], 1));
                }
            }
            @Override
            public void cancel() {
                isRunning = false;
            }

        }, "order-info");
        //这里只为将DataStream → KeyedStream,用空字符串做分区键。所有数据为相同分区
        orderSource
        //每5个订单统计一次最近20个订单的订单数量
        .countWindowAll(20,5)
        //这里用HashMap做暂存器
        .fold(new HashMap<String, Integer>(), new FoldFunction<Tuple2<String,Integer>, Map<String, Integer>>() {
            @Override
            public Map fold(Map<String, Integer> accumulator, Tuple2<String, Integer> value) throws Exception {
                accumulator.put(value.f0, (Integer)accumulator.getOrDefault(value.f0, 0)+value.f1);
                return accumulator;
            }
        })
        .print();

        env.execute("Flink Streaming Java API Skeleton");
    }
}

执行效果

代码语言:javascript
复制
4> {苹果=1, 梨=2, 西瓜=2}
1> {苹果=3, 葡萄=1, 火龙果=1, 梨=3, 西瓜=2}
2> {苹果=5, 葡萄=1, 火龙果=2, 梨=4, 西瓜=3}
3> {苹果=6, 葡萄=3, 火龙果=2, 梨=5, 西瓜=4}
4> {苹果=6, 葡萄=6, 火龙果=2, 梨=4, 西瓜=2}
1> {苹果=5, 葡萄=6, 火龙果=1, 梨=5, 西瓜=3}
2> {苹果=5, 葡萄=7, 梨=6, 西瓜=2}
3> {葡萄=6, 苹果=6, 梨=7, 西瓜=1}
4> {葡萄=4, 苹果=5, 火龙果=1, 梨=7, 西瓜=3}
1> {葡萄=6, 苹果=5, 火龙果=1, 梨=5, 西瓜=3}
2> {苹果=3, 葡萄=6, 火龙果=2, 梨=4, 西瓜=5}
3> {葡萄=5, 苹果=3, 火龙果=2, 梨=4, 西瓜=6}
4> {葡萄=4, 苹果=3, 火龙果=3, 梨=4, 西瓜=6}

小结

这里解释一下count-Sliding这个时间窗口,如图所示:

代码地址

代码语言:javascript
复制
https://github.com/chaoxxx/learn-flink-stream-api/blob/master/src/main/java/fun/cosmozhu/session11/StreamTest.java

作者:cosmozhu --90后的老父亲,专注于保护地球的程序员

个人网站:https://www.cosmozhu.fun

欢迎转载,转载时请注明出处。

相关文章

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 需求
  • 解决方案
  • 执行效果
  • 小结
  • 代码地址
    • 相关文章
    相关产品与服务
    对象存储
    对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
    领券
    问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档