首页
学习
活动
专区
工具
TVP
发布

kk大数据

专栏成员
116
文章
219384
阅读量
43
订阅数
浅谈 Flink 窗口
https://blog.csdn.net/mynameisgt/article/details/124223193
kk大数据
2023-03-03
4500
Spark 源码(8) - Master分配资源并在Worker上启动Executor ,逐行代码注释版
上一次阅读到了 SparkContext 初始化,继续往下之前,先温故一下之前的内容。
kk大数据
2021-11-05
6370
Spark 源码(4) - Worker 启动流程
今天来看看 Worker 的启动流程,Worker 的启动是从 Shell 脚本开始的,Shell 脚本中就是从 Worker 类的 main 方法开始执行的,所以就从 main 方法开始看。
kk大数据
2021-10-12
4670
面试大数据必问的一道题,这次不死记硬背,直接看源码,惊艳一下面试官
那每次准备面试前,自然是先百度一番,复制一下答案,1 2 3 4 5 6 点,背一背完事。但是面试完,还是不了解 HDFS 写数据流程内部究竟是怎么实现的。
kk大数据
2021-04-22
5530
NameNode 用了什么神秘技术来支撑元数据百万并发读写的
我们都知道,HDFS 是大数据存储的基石,所有的离线数据都存储在 HDFS 上,而 NameNode 是存储所有元数据的地方(所谓元数据就是描述数据的数据,比如文件的大小,文件都存储在哪些 DataNode 上,文件在目录树的位置等),所以 NameNode 便成为了 HDFS 最关键的部分。
kk大数据
2021-03-30
6270
心跳在分布式系统中多重要?谈一谈 DataNode 如何向 NameNode 发送心跳的
心跳是分布式技术中常用的技术手段。心跳,顾名思义,就是以固定的频率向其他节点汇报当前节点状态的方式。收到心跳,一般可以认为发送心跳的这个节点在当前的网络拓扑中是良好的。
kk大数据
2021-03-30
1.3K0
我发现了 高性能异步编程 和 实时流模型 那千丝万缕的联系!
本次我们来实现一个支持百万并发连接数的采集服务器,并且找到异步+ NIO 的编程方式和实时流模型的那些千丝万缕的联系。
kk大数据
2021-03-15
3850
Flink 是如何将你的代码生成 StreamGraph 的(下篇)
上次说到了所有的算子都会转化成 transformation ,并放到一个 List 列表中,那么今天我们开始遍历这个列表,来生成 StreamGraph。
kk大数据
2021-03-13
1.1K0
阅读 Flink 源码前必会的知识 - Java 8 异步编程 CompletableFuture 全解析
通常来说,程序都是顺序执行,同一时刻只会发生一件事情。如果一个函数依赖于另一个函数的结果,它只能等待那个函数结束才能继续执行,从用户角度来说,整个程序才算执行完毕。
kk大数据
2021-03-13
1.1K0
Flink Client 实现原理与源码解析(保姆级教学)
这次我们的目的是,在本地的 IDEA 中去 debug flink-clients 代码,然后远程提交给 flink standalone 集群上去执行,看一看 flink 客户端在提交代码之前都干了什么。
kk大数据
2021-02-07
2.4K0
Flink SQL 核心概念剖析与编程案例实战
本次,我们从 0 开始逐步剖析 Flink SQL 的来龙去脉以及核心概念,并附带完整的示例程序,希望对大家有帮助!
kk大数据
2021-01-12
6780
图解 Flink Checkpoint 原理及在 1.11 版本的优化
上次发文,提到了 Flink 可以非常高效的进行有状态流的计算,通过使用 Flink 内置的 Keyed State 和 Operator State,保存每个算子的状态。
kk大数据
2020-12-29
2.5K0
一句话说清楚 CountDownLatch 和 CyclicBarrier 的区别
日常工作中,经常会碰到这样的场景:有时候数据量特别大,任务量特别多,我们通常会开启多线程去分批执行任务,在所有任务执行完了之后,再去执行接下来的作业。
kk大数据
2020-09-23
3.2K0
【编程语言】Java虚拟机垃圾回收算法,2020年的面试你准备好了吗
熟悉 Java 的朋友一定知道 Java 虚拟机了,熟练掌握 Java 虚拟机是一个高级工程师的基础素养哦,当然面试官在问到 Java 虚拟机的时候,一定会问到 垃圾回收算法的。
kk大数据
2020-02-14
3900
从硬件角度看 Java 高并发编程bug的源头
高并发编程一直是 Java 领域的高阶内容,有时候 bug 诡异的出现,又诡异的消失,很难重现,很难追踪,让人抓狂。
kk大数据
2020-02-14
7170
Flink-Kafka 连接器及exactly-once 语义保证
在 Flink 中,Source 代表从外部获取数据源,Transfromation 代表了对数据进行转换操作,Sink 代表将内部数据写到外部数据源
kk大数据
2019-12-18
1.6K0
Flink 16种数据转换操作,满足所有数据处理场景
数据转换(Transformation),即通过从一个或多个 DataStream 生成新的DataStream 的过程,是主要的数据处理的手段。Flink 提供了多种数据转换操作,基本可以满足所有的日常使用场景。
kk大数据
2019-10-15
3K0
Flink 数据类型 以及 第一阶段小结
在 Flink 中,数据类型的描述信息都是定义在 TypeInformation 中,比较常用的 TypeInformatica 有 BasicTypeInfo、TupleTypeInfo、CaseClassTypeInfo、PojoTypeInfo 等
kk大数据
2019-10-08
9410
Hive 系列 之 基础知识和操作合集
今天,朋友圈和公众号被鸿蒙刷屏,作为开发者,由衷感叹人类科技已经发展得这么先进了,基于微内核的全场景分布式OS,虽然不太懂是什么意思,但仍然觉得高大上。
kk大数据
2019-08-14
6170
分布式弹性数据集(下)
文章概述:RDD的其他几个知识点,依赖关系(Dependencies)、检查点(Checkpoint)、存储级别(Storage Level)和迭代函数(Iterator)。
kk大数据
2019-08-14
3900
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档