公众号:大数据羊说

LV0
发表了文章

flink sql 知其所以然(三)| 自定义 redis 数据汇表(附源码)

目前在实时计算的场景中,熟悉 datastream 的同学在很多场景下都会将结果数据写入到 redis 提供数据服务。

公众号:大数据羊说
发表了文章

flink sql 知其所以然(二)| 自定义 redis 数据维表(附源码)

https://blog.csdn.net/weixin_47482194/article/details/105855116?spm=1001.2014.30...

公众号:大数据羊说
发表了文章

flink sql 知其所以然(一)| source\sink 原理

本文从以下五个小节介绍 flink sql source\sink\format 的概念、原理。

公众号:大数据羊说
发表了文章

揭秘字节跳动埋点数据实时动态处理引擎(附源码)

宝贝们,还记得前几天博主去的火山引擎大数据场嘛,其中比较令大家感兴趣的就是最后一讲,字节一站式埋点平台的 flink 标准化清洗及拆流任务。

公众号:大数据羊说
发表了文章

踩坑记 | flink sql count 还有这种坑!

先说下结论:在非窗口类 flink sql 任务中,会存在 retract 机制,即上游会向下游发送「撤回消息(做减法)」,**最新的结果消息(做加法)**两条...

公众号:大数据羊说
发表了文章

深入浅出 | flink 全局一致性快照(一)

本系列每篇文章都是从实际生产出发,帮助大家理解全局一致性快照。可能很多小伙伴都知道 flink 是使用 barrier 来做全局一致性快照,但是我提两个问题,...

公众号:大数据羊说
发表了文章

前沿 | 深入解读 Flink SQL 1.13

摘要:本文由社区志愿者陈政羽整理,Apache Flink 社区在 5 月份发布了 1.13 版本,带来了很多新的变化。文章整理自徐榜江(雪尽) 5 月 22 ...

公众号:大数据羊说
发表了文章

漫画 | 怎么做需求评估?理清套路拿满分

最近在参与一个中台项目的实时数据建设,这也是她第一次完全的投入到一个项目体系当中(之前都是在某一个项目中负责一小块)

公众号:大数据羊说
发表了文章

漫画 | flink watermark 一定只能用时间戳衡量???

公众号:大数据羊说
发表了文章

生产实践 | Flink + 直播(三)| 如何建设当前正在直播 xx 数?

本文是「直播实时数据建设」系列的第三篇,主要介绍「生产侧指标的建设」,比如当前正在直播直播间数,或者主播数等。在介绍生产侧指标的建设过程之前,先回顾下上一节的「...

公众号:大数据羊说
发表了文章

生产实践 | Flink + 直播(二)| 如何建设实时公共画像维表?

但是大家的疑惑点可能就集中在三个维表的建设上,包含「主播用户画像维表,观众用户画像维表,直播间画像维表」。

公众号:大数据羊说
发表了文章

生产实践 | 基于 Flink 的直播实时数据建设 (一)| 需求和架构篇

随着互联网络技术的发展,网络直播受到越来越多人的关注,直播在经过几年前的喷涌式大爆发之后,近段时间热度有所降低。内容的同质化和变现困难是直播现在面临的主要问题,...

公众号:大数据羊说
发表了文章

Tips | Flink 使用 union 代替 join、cogroup

需求诱诱诱来了。。。数据产品妹妹想要统计单个短视频粒度的「点赞,播放,评论,分享,举报」五类实时指标,并且汇总成 photo_id、1 分钟时间粒度的实时视频消...

公众号:大数据羊说
发表了文章

Tips | Flink sink schema 字段设计小技巧

上游 flink 任务 A 发生故障导致产出脏数据至 kafka X,并且下游消费方消费了脏数据(下游消费方按照下面两类进行划分):

公众号:大数据羊说
订阅了专栏

腾讯云自媒体分享计划

3 文章4K 关注者
关注了用户

腾讯云自媒体分享计划

腾讯 · 产品运营 (已认证)

申请条件:至少有 20 篇或以上符合投稿要求可迁入腾讯云专栏的原创技术文章。

3 文章0 回答4K 关注者
创建了专栏

大数据羊说

14 文章15 关注者
订阅了专栏

腾讯云流计算 Oceanus

大数据产品生态体系的实时化分析利器。

37 文章95 关注者

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券