kk大数据-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

kk大数据

专栏成员

116

文章

219463

阅读量

43

订阅数

浅谈 Flink 窗口

mapreduce 编程算法 flink windows 大数据

https://blog.csdn.net/mynameisgt/article/details/124223193

2023-03-03

4500

Spark 源码（8） - Master分配资源并在Worker上启动Executor ，逐行代码注释版

linux 编程算法 spark

上一次阅读到了 SparkContext 初始化，继续往下之前，先温故一下之前的内容。

2021-11-05

6370

Spark 源码（4） - Worker 启动流程

编程算法 shell 网站

今天来看看 Worker 的启动流程，Worker 的启动是从 Shell 脚本开始的，Shell 脚本中就是从 Worker 类的 main 方法开始执行的，所以就从 main 方法开始看。

2021-10-12

4680

面试大数据必问的一道题，这次不死记硬背，直接看源码，惊艳一下面试官

编程算法 bash 大数据

那每次准备面试前，自然是先百度一番，复制一下答案，1 2 3 4 5 6 点，背一背完事。但是面试完，还是不了解 HDFS 写数据流程内部究竟是怎么实现的。

2021-04-22

5530

NameNode 用了什么神秘技术来支撑元数据百万并发读写的

编程算法大数据 zookeeper

我们都知道，HDFS 是大数据存储的基石，所有的离线数据都存储在 HDFS 上，而 NameNode 是存储所有元数据的地方（所谓元数据就是描述数据的数据，比如文件的大小，文件都存储在哪些 DataNode 上，文件在目录树的位置等），所以 NameNode 便成为了 HDFS 最关键的部分。

2021-03-30

6280

心跳在分布式系统中多重要？谈一谈 DataNode 如何向 NameNode 发送心跳的

心跳是分布式技术中常用的技术手段。心跳，顾名思义，就是以固定的频率向其他节点汇报当前节点状态的方式。收到心跳，一般可以认为发送心跳的这个节点在当前的网络拓扑中是良好的。

2021-03-30

1.3K0

我发现了高性能异步编程和实时流模型那千丝万缕的联系！

自动驾驶编程算法 java flink 大数据

本次我们来实现一个支持百万并发连接数的采集服务器，并且找到异步+ NIO 的编程方式和实时流模型的那些千丝万缕的联系。

2021-03-15

3850

Flink 是如何将你的代码生成 StreamGraph 的（下篇）

css 数据结构编程算法 python

上次说到了所有的算子都会转化成 transformation ，并放到一个 List 列表中，那么今天我们开始遍历这个列表，来生成 StreamGraph。

2021-03-13

1.1K0

阅读 Flink 源码前必会的知识 - Java 8 异步编程 CompletableFuture 全解析

javascript node.js 编程算法 unix api

通常来说，程序都是顺序执行，同一时刻只会发生一件事情。如果一个函数依赖于另一个函数的结果，它只能等待那个函数结束才能继续执行，从用户角度来说，整个程序才算执行完毕。

2021-03-13

1.1K0

Flink Client 实现原理与源码解析（保姆级教学）

flink 大数据面向对象编程编程算法 ide

这次我们的目的是，在本地的 IDEA 中去 debug flink-clients 代码，然后远程提交给 flink standalone 集群上去执行，看一看 flink 客户端在提交代码之前都干了什么。

2021-02-07

2.4K0

Flink SQL 核心概念剖析与编程案例实战

sql flink 大数据文件存储编程算法

本次，我们从 0 开始逐步剖析 Flink SQL 的来龙去脉以及核心概念，并附带完整的示例程序，希望对大家有帮助！

2021-01-12

6780

图解 Flink Checkpoint 原理及在 1.11 版本的优化

flink 大数据编程算法 node.js

上次发文，提到了 Flink 可以非常高效的进行有状态流的计算，通过使用 Flink 内置的 Keyed State 和 Operator State，保存每个算子的状态。

2020-12-29

2.5K0

一句话说清楚 CountDownLatch 和 CyclicBarrier 的区别

node.js javascript 编程算法

日常工作中，经常会碰到这样的场景：有时候数据量特别大，任务量特别多，我们通常会开启多线程去分批执行任务，在所有任务执行完了之后，再去执行接下来的作业。

2020-09-23

3.2K0

【编程语言】Java虚拟机垃圾回收算法，2020年的面试你准备好了吗

编程算法 java

熟悉 Java 的朋友一定知道 Java 虚拟机了，熟练掌握 Java 虚拟机是一个高级工程师的基础素养哦，当然面试官在问到 Java 虚拟机的时候，一定会问到垃圾回收算法的。

2020-02-14

3900

从硬件角度看 Java 高并发编程bug的源头

缓存面向对象编程 java 编程算法 ide

高并发编程一直是 Java 领域的高阶内容，有时候 bug 诡异的出现，又诡异的消失，很难重现，很难追踪，让人抓狂。

2020-02-14

7170

Flink-Kafka 连接器及exactly-once 语义保证

大数据 kafka 文件存储编程算法

在 Flink 中，Source 代表从外部获取数据源，Transfromation 代表了对数据进行转换操作，Sink 代表将内部数据写到外部数据源

2019-12-18

1.6K0

Flink 16种数据转换操作，满足所有数据处理场景

mapreduce 编程算法

数据转换（Transformation），即通过从一个或多个 DataStream 生成新的DataStream 的过程，是主要的数据处理的手段。Flink 提供了多种数据转换操作，基本可以满足所有的日常使用场景。

2019-10-15

3K0

Flink 数据类型以及第一阶段小结

大数据 java 编程算法 python

在 Flink 中，数据类型的描述信息都是定义在 TypeInformation 中，比较常用的 TypeInformatica 有 BasicTypeInfo、TupleTypeInfo、CaseClassTypeInfo、PojoTypeInfo 等

2019-10-08

9410

Hive 系列之基础知识和操作合集

编程算法大数据 hive 数据库 sql

今天，朋友圈和公众号被鸿蒙刷屏，作为开发者，由衷感叹人类科技已经发展得这么先进了，基于微内核的全场景分布式OS，虽然不太懂是什么意思，但仍然觉得高大上。

2019-08-14

6170

分布式弹性数据集（下）

spark 缓存 java 编程算法

文章概述：RDD的其他几个知识点，依赖关系（Dependencies）、检查点（Checkpoint）、存储级别（Storage Level）和迭代函数（Iterator）。

2019-08-14

3900

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态