码字搬砖

169 篇文章
24 人订阅

全部文章

shengjk1

Flink SQL 自定义 format

由于 kafka 中的 json 属于嵌套,又不想二次序列化再把它展开,故自定义 format。

4630
shengjk1

Flink SQL 自定义 Sink

内部要做 Flink SQL 平台,本文以自定义 Redis Sink 为例来说明 Flink SQL 如何自定义 Sink 以及自定义完了之后如何使用 基于...

5920
shengjk1

Flink 解决 No ExecutorFactory found to execute the application

6320
shengjk1

当 snapshot 失败时发生了什么

工作中遇到了与 snapshot 异常相关的问题,特此总结一下,与 snapshot 相关的流程图如下:

4010
shengjk1

JVM加载过程科普

我们知道一个 java 类想要被执行就必须被加载到内存中,而加载的过程呢有大体可以分为 加载、连接、初始化、使用、卸载,五部分,下面,我们就一起看一下各个部分 ...

7020
shengjk1

Flink 连接 hive 解决 java.net.UnknownHostException

今天在实验 Flink 连接 hive 的操作,由于 CDH 的 hadoop 是 HA,连接过程中报错如下:

9130
shengjk1

一文搞懂Flink生成StreamGraph

flatMap 是 DataStream 的一个方法或者就是我们常数的算子,而 StreamFlatMap 其实才是 StreamOperator

7440
shengjk1

JVM类加载过程科普

我们知道一个 java 类想要被执行就必须被加载到内存中,而加载的过程呢有大体可以分为 加载、连接、初始化、使用、卸载,五部分,下面,我们就一起看一下各个部分 ...

15790
shengjk1

JMM 知识点总结

屏蔽各种硬件和操作系统内存方法差异,以实现让 Java 程序在各个平台下都能达到一致的内存方法效果。 主要的目的:定义程序中各种变量的访问规则( 关注在虚拟机...

4720
shengjk1

一文搞懂 Flink如何移动计算

对于分布式框架来说,我们经常听到的一句话就是:移动计算,不移动数据。那么对于 Flink 来说是如何移动计算的呢?我们一起重点看一下 ExecuteGraph

6520
shengjk1

一文搞懂 java -jar 发生了什么

之前一直就很好奇 java -jar 到底发生了什么,为什么执行 java -jar 代码就自动运行了。今天我们来说明一下,尽量覆盖操作系统、编译原理、JVM ...

10140
shengjk1

ES Result window is too large

主要是依据自己的数据量以及 ES Server Heap 的大小以及 自己程序的 Heap 的大量选择,数据量不太的情况下还是建议 增大 window resu...

6420
shengjk1

解析 hashMap 源码之位运算

当 n == 2^x 的时候,(n - 1) & hash 与 hash % n 是等价的,但 (n - 1) & hash ( 位运算 )效率更高,因为 % ...

6730
shengjk1

两个栈实现队列

先准备两个栈,pushStack ( 用来向里面添加数据的 ) popStack( 用来出数据的 )

9140
shengjk1

leetcode-easy-array-合并两个有序数组

给你两个有序整数数组 nums1 和 nums2,请你将 nums2 合并到 nums1 中,使 nums1 成为一个有序数组。

8730
shengjk1

一文搞懂 Flink Timer

顾名思义就是 Flink 内部的定时器,与 key 和 timestamp 相关,相同的 key 和 timestamp 只有一个与之对应的 timer。tim...

8010
shengjk1

解析 hashMap 源码之基本操作 get

通过已经计算好的 hash 值,得到 table 的索引位置并来判断链表的第一个元素是不是要查找的节点,如果不是会查找树,最后会遍历链表

6220
shengjk1

解析 HashMap 源码之基本操作

之前一直都在使用 HashMap 做一些操作,心里常常默认 HashMap 很快 ,从未做过深究。现在看过源码之后才发现 HashMap 的效率并没有想象中的那...

8020
shengjk1

解析 HashMap源码值概括

本系列主要解析 jdk8 的 HashMap 源码,首先会从经常使用方法为入口点,一点点打开我们队 HashMap 的理解。

4930
shengjk1

一文搞懂Flink rocksdb中的数据恢复

当我们设置 rocksdb state backend 时,并且从 checkpoint 重启时,首先进入 RocksDBKeyedStateBackendBu...

6620

扫码关注云+社区

领取腾讯云代金券