首页
学习
活动
专区
工具
TVP
发布

小晨讲Flink

专栏成员
69
文章
100015
阅读量
18
订阅数
浅谈数据仓库建设中的数据建模方法
2、为什么需要数据模型:数据模型不是必需的,建模的目的是为了改进业务流程、消灭信息孤岛和数据差异及提升业务支撑的灵活性。
小晨说数据
2022-11-18
6230
实时数仓方案五花八门,实际落地如何选型和构建!
著有:《图解 Spark 大数据快速分析实战》;《offer 来了:Java 面试核心知识点精讲(原理篇)》;《offer 来了:Java 面试核心知识点精讲(架构篇)》。
小晨说数据
2022-11-18
4K0
发现了一款面试利器,绝了!!!
各位小伙伴大家好,最近互联网裁员,好多粉丝收了到了毕业通知书,有的直接在家呆了一周多了,还没有找工作,感觉不好找,自己心情也比较低落
小晨说数据
2022-08-30
4730
EMQ X + ClickHouse 实现物联网数据接入与分析
物联网数据采集涉及到大量设备接入、海量的数据传输,EMQ X 物联网消息中间件 与 ClickHouse 联机分析 (OLAP) 数据库的组合技术栈完全能够胜任物联网数据采集传输与存储、分析处理业务。
小晨说数据
2022-03-10
1.8K0
实战自定义Flink SQL Connector( Flink 1.11 & Redis)
Flink SQL之所以简洁易用而功能强大,其中一个重要因素就是其拥有丰富的Connector(连接器)组件。Connector是Flink与外部系统交互的载体,并分为负责读取的Source和负责写入的Sink两大类。不过,Flink SQL内置的Connector有可能无法cover实际业务中的种种需求,需要我们自行定制。好在社区已经提供了一套标准化、易于扩展的体系,用户只要按照规范面向接口编程,就能轻松打造自己的Connector。本文就在现有Bahir Flink项目的基础上逐步实现一个SQL化的Redis Connector。
小晨说数据
2022-03-10
3.4K0
干货 | 实时数据架构与实践(用户画像篇)
业务中,随着各业务线业务的发展,逐渐对用户画像和实时数据这两部分的诉求越来越多。对用户画像方面,期望有更快、更准、更方便的人群筛选工具和方便的用户群体分析能力。对于实时数据方面,期望拥有可以实时响应的用户行为流,同时在算法特征、指标统计、业务外显等业务场景有愈来愈多的数据实时化的诉求。
小晨说数据
2022-03-09
1.7K0
从0到1简单搭建加载数仓DWD层(业务数据解析)
上一节我们讲解了数仓DWD层(用户行为日志数据)的搭建、解析、加载。并且讲解了通过编写java代码来实现UDTF功能。
小晨说数据
2022-03-09
1K0
QuestDB是什么?性能居然跑赢了ClickHouse和InfluxDB
在QuestDB(https://questdb.io/),我们已经建立了一个专注于性能的开源时间序列数据库。我们创建QuestDB是为了将我们在低延迟交易方面的经验以及我们在该领域开发的技术方法带到各种实时数据处理用途中。
小晨说数据
2022-03-09
3.6K0
“数据湖”刚学会,又来了一个“数据海”?
作者简介:6年大数据开发经验,从毕业一直从事大数据开发工作,渣渣二本,凭借自己努力进入一线互联网企业,目前负责实时计算开发工作。最近看到大家对互联网词汇特别迷,我就写一篇文章来给大家讲讲,好久没有写原创了,主要是平时太忙了,没时间写。
小晨说数据
2022-03-09
1.3K0
数据仓库构建方法论和简单实践
构思一个主题讨论数据仓库的构建方法论,包括数据仓库的价值、选型、构建思路,随着数据规模膨胀和业务复杂度的提升,大型企业需要构建企业级的数据仓库(数据湖)来快速支撑业务的数据化需求,与传统的数据库构建不通,数据仓库即是OLAP场景,偏于历史数据的存储/分析,用冗余存储换取数据价值;
小晨说数据
2022-03-09
7170
致ClickHouse用户的一封信
感谢您在百忙之中抽出时间来阅读此信。虽然未曾谋面,但我们关注您已经有很长一段时间了。
小晨说数据
2022-03-09
8340
Flink SQL高效Top-N方案的实现原理
昨天的文章里恰好用Top-N Function来举了例子,那么择日不如撞日,今天接着聊吧。
小晨说数据
2022-03-09
6680
如何在 Flink 1.9 中使用 Hive?
阿里巴巴技术专家,Apache Hive PMC成员,加入阿里巴巴之前曾就职于Intel、IBM等公司,主要参与Hive、HDFS、Spark等开源项目。
小晨说数据
2019-09-19
2.4K0
Flink 1.9 实战:使用 SQL 读取 Kafka 并写入 MySQL
北京理工大学硕士毕业,2015 年加入阿里巴巴,参与阿里巴巴实时计算引擎 JStorm 的开发与设计。2016 年开始从事阿里新一代实时计算引擎 Blink SQL 的开发与优化,并活跃于 Flink 社区,于2017年2月成为ApacheFlink Committer,是国内早期 Flink Committer 之一。目前主要专注于分布式处理和实时计算,热爱开源,热爱分享。
小晨说数据
2019-09-19
5K0
Apache Flink 进阶教程(二):Time 深度解析
Flink 的 API 大体上可以划分为三个层次:处于最底层的 ProcessFunction、中间一层的 DataStream API 和最上层的 SQL/Table API,这三层中的每一层都非常依赖于时间属性。时间属性是流处理中最重要的一个方面,是流处理系统的基石之一,贯穿这三层 API。在 DataStream API 这一层中因为封装方面的原因,我们能够接触到时间的地方不是很多,所以我们将重点放在底层的 ProcessFunction 和最上层的 SQL/Table API。
小晨说数据
2019-09-19
9680
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档