kk大数据

LV0
发表了文章

分布式协调框架 Zookeeper 核心设计 理解与实战,并实现一个主备切换

想起很久以前在某个客户现场,微服务 B 突然无法调用到微服务 A,为了使服务尽快正常恢复,重启了微服务 B 。

kk大数据
发表了文章

修炼内功,一文梳理分布式事务及相关算法,剖析 Flink 端到端的一致性

临界知识这个概念,是我上个月读《好好学习:个人知识管理精进指南》这本书学到的概念,真的有被启发到,现在觉得它对于我们深刻了解世界有着非常大的作用。

kk大数据
发表了文章

手写一个 Mini Flink 分布式集群

已经很多天没有写文章了,直到我今天在飞机上看了一本书《如何成为一个不完美主义者》,让我重新认识了“完美主义”这四个字。

kk大数据
发表了文章

Flink Metrics监控与 RestApi

Flink 的 metrics 是 Flink 公开的一个度量系统,metrics 也可以暴露给外部系统,通过在 Flink 配置文件 conf/flink-c...

kk大数据
发表了文章

Kafka 的网络通信设计,看完直呼过瘾,最后竟然只用 20 行就实现了粘包拆包逻辑

经过上次文章的铺垫,相信大家对 java 的 NIO 有了一些感性的认识,也初步了解了它的 API 了,可以开始去阅读 Kafka Producer 端的发送消...

kk大数据
发表了文章

阅读一个分布式框架,首先就要搞懂它的通信框架,这些必备的 NIO 知识你要知道

因为一个分布式的开源框架,通常是集群部署的,不同的节点和节点之间需要相互通信来完成复杂的功能,而阅读到这些源码的时候,如果不了解它通信机制的话,就会迷失在代码里...

kk大数据
发表了文章

Kafka 为了避免 Full GC,竟然还在发送端设计了内存池,自己管理内存,太巧妙了

在上一篇文章中,我们讲到了 Kafka 发送消息的八个流程,并且着重讲了 Kafka 封装了一个内存结构,把每个分区的消息封装成批次,缓存到内存里。

kk大数据
发表了文章

Kafka Producer 为了极致性能,100 多行能写出多感人的代码,设计思路非常值得学习

做大数据不可能不知道 Kafka,在日志采集、实时计算等领域,都有它的身影。而且 Kafka 的源码是众多开源项目中,代码质量比较高的一个,也比较有观赏性。

kk大数据
发表了文章

面试大数据必问的一道题,这次不死记硬背,直接看源码,惊艳一下面试官

那每次准备面试前,自然是先百度一番,复制一下答案,1 2 3 4 5 6 点,背一背完事。但是面试完,还是不了解 HDFS 写数据流程内部究竟是怎么实现的。

kk大数据
发表了文章

NameNode 用了什么神秘技术来支撑元数据百万并发读写的

我们都知道,HDFS 是大数据存储的基石,所有的离线数据都存储在 HDFS 上,而 NameNode 是存储所有元数据的地方(所谓元数据就是描述数据的数据,比如...

kk大数据
发表了文章

心跳在分布式系统中多重要?谈一谈 DataNode 如何向 NameNode 发送心跳的

心跳是分布式技术中常用的技术手段。心跳,顾名思义,就是以固定的频率向其他节点汇报当前节点状态的方式。收到心跳,一般可以认为发送心跳的这个节点在当前的网络拓扑中是...

kk大数据
发表了文章

如何阅读百万行 Hadoop 的源码?来一起读 NameNode 启动过程的源码,初窥其境

首先 hadoop 是用 java 写的,所以一些 java 基础知识必不可少,比如锁,线程,设计模式,java 虚拟机,java io,不求很深入,基础得知道...

kk大数据
发表了文章

我发现了 高性能异步编程 和 实时流模型 那千丝万缕的联系!

本次我们来实现一个支持百万并发连接数的采集服务器,并且找到异步+ NIO 的编程方式和实时流模型的那些千丝万缕的联系。

kk大数据
发表了文章

Flink 是如何将你的代码生成 StreamGraph 的(下篇)

上次说到了所有的算子都会转化成 transformation ,并放到一个 List 列表中,那么今天我们开始遍历这个列表,来生成 StreamGraph。

kk大数据
发表了文章

Flink 是如何将你写的代码生成 StreamGraph 的 (上篇)

为什么要“大致”阅读,因为这些牛逼的框架都是层层封装,搞懂核心原理已经是很不易,更别谈熟读源码了。

kk大数据
发表了文章

阅读 Flink 源码前必会的知识 - Java 8 异步编程 CompletableFuture 全解析

通常来说,程序都是顺序执行,同一时刻只会发生一件事情。如果一个函数依赖于另一个函数的结果,它只能等待那个函数结束才能继续执行,从用户角度来说,整个程序才算执行完...

kk大数据
发表了文章

CAS 原理深入剖析,深入内核源码的那种

则先读取 A 的当前值 E 为 2,在内存计算结果 V 为 3,比较之前读出来的 A 的当前值 2 和 最新值,如果最新值为 2 ,表示这个值没有被别人改过,...

kk大数据
发表了文章

Flink 状态管理详解(State TTL、Operator state、Keyed state)

Flink官网的自我介绍:Apache Flink® — Stateful Computations over Data Streams,可以看出状态计算是 F...

kk大数据
发表了文章

Flink 开发生产问题汇总,亲自解决的才是最宝贵的

当一个Flink App背压的时候(例如由外部组件异常引起),Barrier会流动的非常缓慢,导致Checkpoint时长飙升。

kk大数据
发表了文章

Flink 源码阅读环境准备,并调试 Flink-Clients 模块

读文档和读源码的目的是不一样的,就拿 Apache Flink 这个项目来说,如果你想知道 Flink 的使用功能,设计思想,实现原理,看官方文档就足够了;如果...

kk大数据

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券