开发架构二三事

LV0
发表了文章

从头分析flink源码第六篇之ExecutionGraph的生成

上一篇中我们梳理了jobGraph提交过程中taskmanager、jobmanager、resourcemanager各组件的启动流程,本篇我们接着上一篇中的...

开发架构二三事
发表了文章

从头分析flink源码第五篇之提交jobGraph时各组件内部都发生了什么?

上几篇文章中我们分析了一个flink wordcount任务生成streamGraph和jobGraph的过程。接下来,我们继续从jobGraph生成后开始来分...

开发架构二三事
发表了文章

从头分析flink源码第四篇之channel selector

•void setup(int numberOfChannels):用输出通道的数量来对channel selector进行初始化操作,主要用于数据输出时使用;...

开发架构二三事
发表了文章

flink on yarn的一则jar冲突问题,你遇到过没?

近期准备对实时计算平台进行升级,调研阶段使用yarn client手动向yarn集群上提交flink任务时出现了一个小插曲。提交任务时,一直提示失败,来yarn...

开发架构二三事
发表了文章

Elasticsearch索引、搜索流程及集群选举细节整理

最近在做搜索推荐相关的优化,在对elasticsearch进行优化时查阅了比较多的资料,现在对其中的一部分进行整理和翻译,做一个记录。主要分为三个部分:

开发架构二三事
发表了文章

es中的analyzer,tokenizer,filter你真的了解吗?

最近在做搜索推荐相关的需求,有一个场景中需要某一列能处理多种分词器的分词匹配,比如我输入汉字或拼音或语义相近的词都需要把匹配结果返回回来。经过一番调研,最终我们...

开发架构二三事
发表了文章

从头分析flink源码第三篇之jobGraph的生成

上一篇中我们分析了一个简单的flink wordcount程序由DataStream的transformation列表转换成StreamGraph的过程,紧接着...

开发架构二三事
发表了文章

从头分析flink源码第二篇之streamGraph的生成

上一篇我们分析了DataStream wordcount程序的几步操作中整个DataStream的转变,包括不同类型的Transformation的生成、整个T...

开发架构二三事
发表了文章

flink源码从头分析第一篇之WordCount DataStream操作

每个应用程序都有一个hello world代码,在flink里面这个hello world一般就是一段wordcount程序,我们来尝试通过一段wordcoun...

开发架构二三事
发表了文章

flink源码分析之kafka consumer的执行流程

线上flink任务稳定运行了两个多月了,突然之间收到了消息堆积较多的报警,kafka上看到的现象是消息堆积较多。问过业务人员得知,对应的流表在前一天重新刷了一遍...

开发架构二三事
发表了文章

hystrix并发不友好?sentinel怎么样?

最近公司压测,业务系统压测效果一直不是很好,细问之下才知道,在业务系统中会调用很多下游服务。为了控制调用下游服务的时间,防止太长的响应时间拖垮应用,他们针对每一...

开发架构二三事
发表了文章

Flink RocksDB State Backend:when and how

流处理应用程序通常是有状态的,“记住”已处理事件的信息,并使用它来影响进一步的事件处理。在Flink中,记忆的信息(即状态)被本地存储在配置的状态后端中。为了防...

开发架构二三事
发表了文章

flink分析之Task的生命周期

之前有想过系统地来一番flink源码分析系列,谁曾想工作中需要完成的需求有些多,完整的flink源码分析系列只能一再往后拖了。之前公众号后台有想学习flink的...

开发架构二三事
发表了文章

深入研究Apache Flink中的可缩放状态

•本来打算写一个flink源码分析的系列文章,但由于事情太多,又不太想输出低质量的文章,所以开始看一些好的flink相关博客,本文译自https://www.v...

开发架构二三事
发表了文章

flink线程模型源码分析1之前篇将StreamTask中的线程模型更改为基于Mailbox的方法

本文中关于将StreamTask中的线程模型更改为基于Mailbox的方法主要译自如下两处:

开发架构二三事
发表了文章

flink中如何自定义Source和Sink?

动态表(Dynamic tables)是Flink的Table&SQL API的核心概念,用于以统一方式处理有界和无界数据。

开发架构二三事
发表了文章

flink sql源码分析一之执行流程梳理

我们在梳理flink sql 执行流程时以sql解析、sql校验、sql转化及sql优化的顺序来展开,本篇主要是对过程的梳理,不会涉及过多的代码部分,后面会针对...

开发架构二三事
发表了文章

flink on yarn 模式下提示yarn资源不足问题分析

在实时计算平台上通过YarnClient向yarn上提交flink任务时一直卡在那里,并在client端一直输出如下日志:

开发架构二三事
发表了文章

flink jobmanager与taskmanager内存配置源码分析

先来看一下官网上对flink内存设置的介绍。Flink JVM 进程的进程总内存(Total Process Memory)包含了由 Flink 应用使用的内存...

开发架构二三事
发表了文章

一文读懂比BitMap有更好性能的Roaring Bitmap

1.什么是bitmap?为什么使用bitmap?Roaring bitmap与其他bitmap编码技术相比有哪些优势?2.Roaring bitmap将32位无...

开发架构二三事

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券