大数据羊说-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据羊说

专栏成员

68

文章

89165

阅读量

40

订阅数

1w+ 字深入解读 Flink SQL 实现流处理的核心技术！

事件数据 sql flink 编码

本文摘编于《Flink SQL 与 DataStream 入门、进阶与实战》，作者羊艺超，经出版方授权发布，转载请标明文章出处。

公众号:大数据羊说

2024-01-08

5700

8 分钟看完这 3000+ 字，Flink 时间窗口和时间语义这对好朋友你一定搞得懂！

数据 flink min 模型事件

时间和窗口一直是Flink在流处理领域的一个王牌武器，也是Flink的理论基石。在Flink中，时间和窗口分别代表着“时间语义”和“时间窗口”两个概念。之前我们学习了关于数据映射（map操作）、过滤（filter操作）、分组（keyBy操作）、归约聚合（reduce操作）等各类操作，Flink的功能在我们看来已经很丰富了，那么时间窗口和时间语义又是为何而生？又帮助我们解决了什么问题呢？

公众号:大数据羊说

2024-01-08

3800

Flink SQL 知其所以然（三十）：Explain、Show、Load、Set 子句

flink 大数据 sql 数据库云数据库 SQL Server

大家好，我是老羊，今天我们来学习 Flink SQL 中的的 Explain、Show、Load、Set 共 4 个子句。

公众号:大数据羊说

2022-12-16

4920

Flink SQL 知其所以然（二十九）：Deduplication去重 & 获取最新状态操作

unix sql 编程算法

大家好，我是老羊，今天我们来学习 Flink SQL 中的 Deduplication 去重以及如何通过 Deduplication 操作获取最新的状态。

公众号:大数据羊说

2022-12-16

9790

Flink SQL 知其所以然（二十八）：Window TopN 操作

编程算法 sql

大家好，我是老羊，今天我们来学习 Flink SQL 中的 Window TopN 操作。

公众号:大数据羊说

2022-12-16

5120

Java 17 新特性，快到起飞？惊呆了！

jdk api java mac os 文件存储

本书最新版，主要更新了在JDK 17发布的的新特性，JDK 17是继JDK11之后的一个新的长期支持版本，免费使用至2024年9月，同时会持续更新到2029年9月。下面就一起来看看，到底更新了些什么内容：

公众号:大数据羊说

2022-07-07

1.2K0

Flink SQL 知其所以然（二十七）：TopN、Order By、Limit 操作

编程算法 sql flink 大数据批量计算

大家好，我是老羊，今天我们来学习 Flink SQL 中的 TopN、Order By、Limit 3个操作。

公众号:大数据羊说

2022-07-07

2.6K0

Flink SQL 知其所以然（二十七）：集合操作

sql 自动驾驶

上述 SQL 在流式任务中，如果一条左流数据先来了，没有从右流集合数据中找到对应的数据时会直接输出，当右流对应数据后续来了之后，会下发回撤流将之前的数据給撤回。这也是一个回撤流。

公众号:大数据羊说

2022-07-07

7130

Flink SQL 知其所以然（二十六）：2w 字详述 Join 操作（大威天龙）

flink sql 大数据数据库云数据库 SQL Server

可以发现 Inner Interval Join 和其他三种 Outer Interval Join 的区别在于，Outer 在随着时间推移的过程中，如果有数据过期了之后，会根据是否是 Outer 将没有 Join 到的数据也给输出。

公众号:大数据羊说

2022-07-07

1.8K0

Flink SQL 知其所以然（二十六）：Over 聚合操作

flink 大数据 sql

大家好，我是老羊，今天我们来学习 Flink SQL 中的· Over 聚合操作。

公众号:大数据羊说

2022-07-07

9510

Flink SQL 知其所以然（二十六）：Group 聚合操作

sql flink hive 大数据 kafka

那么这时候，小伙伴萌就会问到，我其实可以把窗口聚合的写法也转换为 Group 聚合，只需要把 Group 聚合的 Group By key 换成时间就行，那这两个聚合的区别到底在哪？

公众号:大数据羊说

2022-07-07

1.1K0

Flink SQL 知其所以然（二十六）：万字详述 Flink SQL 4 种时间窗口语义！（收藏）

sql flink 大数据

大家好我是老羊，由于窗口涉及到的知识内容比较多，所以博主先为大家说明介绍下面内容时的思路，大家跟着思路走。思路如下：

公众号:大数据羊说

2022-07-07

1.8K0

Flink SQL 知其所以然（二十五）：基础 DML SQL 执行语义！

sql hive flink 大数据 kafka

以下面的 SQL 为例，我们来介绍下其在离线中和在实时中执行的区别，对比学习一下，大家就比较清楚了

公众号:大数据羊说

2022-07-07

7300

Flink SQL 知其所以然（二十四）：SQL DDL！

sql 数据库云数据库 SQL Server kafka unix

CREATE 语句用于向当前或指定的 Catalog 中注册库、表、视图或函数。注册后的库、表、视图和函数可以在 SQL 查询中使用。

公众号:大数据羊说

2022-07-07

9970

Flink SQL 知其所以然（二十三）：SQL 的时区问题！

sql flink 大数据 unix 编程算法

至少博主目前没有碰到过，因为这个问题在底层的数据集成系统都已经给解决了，小伙伴萌拿到手的 ODS 层表都是已经按照所在地区的时区给格式化好的了。

公众号:大数据羊说

2022-07-07

4.1K0

关于数据质量，必须要懂的 6 点！（好好看看）

大数据企业

按照国际数据管理协会的《数据管理知识手册》中规定，数据质量（DQ）是“既指与数据有关的特征，也指用于衡量或改进数据质量的过程。”但要深入理解数据质量，需要切分不同层次或维度。

公众号:大数据羊说

2022-05-17

4.8K0

Flink SQL 知其所以然（二十二）：SQL 的时间语义！（建议收藏）

flink 大数据 sql unix 云推荐引擎

讲到这里，xdm 会问，博主上面写的 3 种时间属性到底对我们的任务有啥影响呢？3 种时间属性的应用场景是啥？

公众号:大数据羊说

2022-05-17

1K0

Flink SQL 知其所以然（二十一）：SQL 数据类型大全！

java unix sql flink 编程算法

Flink SQL 内置了很多常见的数据类型，并且也为用户提供了自定义数据类型的能力。

公众号:大数据羊说

2022-05-17

2.1K0

Flink SQL 知其所以然（二十）：核心思想之动态表 & 连续查询！（建议收藏）

数据库数据处理 windows sql 编程算法

hi，大家好，我是老羊，今天给大家带来一篇关于 Flink SQL 流式计算的核心思想设计文章。

公众号:大数据羊说

2022-05-17

1.5K0

《Flink 对线面试官》3w 字、6 大主题、30 图、36 个高频问题！（建议收藏）

大数据 flink 实时数仓 sql 数据库

兄弟们，在 18w 字《Flink SQL 成神之路》之后，我的另一篇《Flink 对线面试官》申请出战！

公众号:大数据羊说

2022-05-17

1.2K0

点击加载更多

社区活动

AI代码助手快速上手训练营

鹅厂大牛带你玩转AI智能结对编程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态