暂无搜索历史
01 PPT预览
4. 详细介绍下MapReduce的工作机制?我重点回答了切片原理和Shuffle机制
著有:《图解 Spark 大数据快速分析实战》;《offer 来了:Java 面试核心知识点精讲(原理篇)》;《offer 来了:Java 面试核心知识点精讲(...
目前各大公司的产品需求和内部决策对于数据实时性的要求越来越迫切,需要实时数仓的能力来赋能。传统离线数仓的数据时效性是 T+1,调度频率以天为单位,无法支撑实时场...
上面内容主要是以构建source所需要的参数为主,具体我们进入到DebeziumSourceFunction中看看具体实现
flink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/streaming/api/chec...
本次性能测试在正式环境下单台服务器上Kafka处理MQ消息能力进行压力测试。测试包括对Kafka写入MQ消息和消费MQ消息进行压力测试,根据不同量级的消息处理结...
数据准实时复制(CDC)是目前行内实时数据需求大量使用的技术,随着国产化的需求,我们也逐步考虑基于开源产品进行准实时数据同步工具的相关开发,逐步实现对商业产品的...
Kafka Connector 提供了从 Kafka topic 中消费和写入数据的能力。
每篇会讨论一种Flink SQL的join方式,其实已经在之前写过两篇用upsert-kafka做temporal join的文章,但是限于当时对于Flink ...
Flink 作为流式数据处理框架的领跑者,在吞吐量、时延、准确型、容错性等方面都有优异的表现。在 API 方面,它为用户提供了较底层的 DataStream A...
作者:龙逸尘,腾讯 CSIG 高级工程师 背景介绍 维表(Dimension Table)是来自数仓建模的概念。在数仓模型中,事实表(Fact Table)是指...
随着 Flink Table & SQL的发展,Flink SQL中用于进行维表Join也成为了很多场景的选择。
编写单元测试是设计生产应用程序的基本任务之一。如果不进行测试,那么一个很小的代码变更都会导致生产任务的失败。因此,无论是清理数据、模型训练的简单作业,还是复杂的...
我遇到过很多应届生,整个大学学了 4 年的编程,自己敲的代码可能还不到 3000 行。你让他做用自己学的编程知识做个什么东西,他就蒙了,不知道从哪里下手。
Flink四大基石分别是:Time (时间)、Window(窗口)、State (状态)、Checkpoint(检查点)。
【推荐】Redis key命名需具有可读性以及可管理性,不该使用含义不清的key以及特别长的key名;
流处理应用程序通常是有状态的,“记住”已处理事件的信息,并使用它来影响进一步的事件处理。在Flink中,记忆的信息(即状态)被本地存储在配置的状态后端中。为了防...
流计算 Oceanus 平台支持以 SQL 的方式提交作业,独享集群支持最新的 Flink 1.10 提供的新版 Blink Planner 语法。有一位客户写...
在某些场景下 Flink 用户状态一直在无限增长,一些用例需要能够自动清理旧的状态。例如,作业中定义了超长的时间窗口,或者在动态表上应用了无限范围的 GROUP...
暂未填写公司和职称
暂未填写个人简介
暂未填写技能专长
暂未填写学校和专业
暂未填写个人网址
暂未填写所在城市
TA 很懒,什么都没有留下╮(╯_╰)╭