专栏首页大数据成神之路FlinkSQL中的回退更新-Retraction

FlinkSQL中的回退更新-Retraction

5万人关注的大数据成神之路,不来了解一下吗?

5万人关注的大数据成神之路,真的不来了解一下吗?

5万人关注的大数据成神之路,确定真的不来了解一下吗?

欢迎您关注《大数据成神之路》

前言

如果你在使用FlinkSQL时出现如下的报错:

Table is not an append-only table. Use the toRetractStream() in order to handle add and retract messages.

那么你就有必要了解一下Flink中的回退更新

简介

通俗的讲"回退更新"就是传统数据里面的更新操作,也就是说Retract是流式计算场景下对数据更新的处理。

使用flinkSQL处理实时数据当我们把表转化成流的时候,需要用toAppendStream与toRetractStream这两个方法。稍不注意可能直接选择了toAppendStream。

区别

追加模式:只有在动态Table仅通过INSERT更改修改时才能使用此模式,即它仅附加,并且以前发出的结果永远不会更新。

如果更新或删除操作使用追加模式会失败报错。

缩进模式: 始终可以使用此模式。返回值是boolean类型。它用true或false来标记数据的插入和撤回,返回true代表数据插入,false代表数据的撤回。

按照官网的理解如果数据只是不断添加,可以使用追加模式,其余方式则不可以使用追加模式,而缩进模式侧可以适用于更新,删除等场景。具体的区别如下图所示:

通过上图可以清晰的看到两种方式的区别,当我们使用的sql语句包含:count() group by时,必须使用缩进模式。

举个例子

上面的例子输出结果如下:

前面数字相同的是同一组操作,true代表的是写入,false代表的是撤回。

关于FlinkSQL是如何实现回退更新的,我们会另开文章介绍。

本文分享自微信公众号 - 大数据技术与架构(import_bigdata),作者:群主王知无

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-04-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 关于Redis的几件小事 | Redis的数据类型/过期策略/内存淘汰

    这个是类似map的一种结构,这个一般就是可以将结构化的数据,比如一个对象(前提是这个对象没嵌套其他的对象)给缓存在redis里,然后每次读写缓存的时候,可以就操...

    大数据技术与架构
  • Spark内存调优

    Spark 作为一个基于内存的分布式计算引擎,其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理,有助于更好地开发 Spark...

    大数据技术与架构
  • 深入解析 Flink 的算子链机制

    “为什么我的 Flink 作业 Web UI 中只显示出了一个框,并且 Records Sent 和Records Received 指标都是 0 ?是我的程序...

    大数据技术与架构
  • Golang不使用MD5比较文件内容是否一致

    func compare(spath, dpath string) bool { sinfo, err := os.Lstat(spath) ...

    李海彬
  • Golang不使用MD5比较文件内容是否一致

    func compare(spath, dpath string) bool { sinfo, err := os.Lstat(spath) ...

    李海彬
  • 使用JavaMail发送邮件

      我们在实际开发中,常常会遇到需要使用java代码进行发送邮件的需求,我们可以通过这种方式向用户推送通知等。

    阿豪聊干货
  • missing ( before function parameters.

    有时候用MyEclipse导入工程的时候js页面会出现 missing ( before function parameters.错误提示;

    西门呀在吹雪
  • 身份证校验

    longzeqiu
  • LeetCode 416. 分割等和子集(动态规划)

    给定一个只包含正整数的非空数组。 是否可以将这个数组分割成两个子集,使得两个子集的元素和相等。

    Michael阿明
  • 编写精炼的JavaScript代码:避免多余的Else, 尽早Return

    程序员一直被教导:“每个函数只能有一个退出点” 比如,“只从一个地方return”:

    疯狂的技术宅

扫码关注云+社区

领取腾讯云代金券