学习
实践
活动
专区
工具
TVP
写文章

开发架构二三事

LV0
举报
发表了文章

从头分析flink源码第六篇之ExecutionGraph的生成

上一篇中我们梳理了jobGraph提交过程中taskmanager、jobmanager、resourcemanager各组件的启动流程,本篇我们接着上一篇中的...

开发架构二三事
数据结构Linux编程算法
发表了文章

从头分析flink源码第五篇之提交jobGraph时各组件内部都发生了什么?

上几篇文章中我们分析了一个flink wordcount任务生成streamGraph和jobGraph的过程。接下来,我们继续从jobGraph生成后开始来分...

开发架构二三事
Flink大数据数据结构Linux
发表了文章

从头分析flink源码第四篇之channel selector

•void setup(int numberOfChannels):用输出通道的数量来对channel selector进行初始化操作,主要用于数据输出时使用;...

开发架构二三事
批量计算数据结构
发表了文章

flink on yarn的一则jar冲突问题,你遇到过没?

近期准备对实时计算平台进行升级,调研阶段使用yarn client手动向yarn集群上提交flink任务时出现了一个小插曲。提交任务时,一直提示失败,来yarn...

开发架构二三事
HadoopYarnNode.js网络安全云计算
发表了文章

Elasticsearch索引、搜索流程及集群选举细节整理

最近在做搜索推荐相关的优化,在对elasticsearch进行优化时查阅了比较多的资料,现在对其中的一部分进行整理和翻译,做一个记录。主要分为三个部分:

开发架构二三事
Lucene/Solrhttps网络安全ElasticsearchService数据库
发表了文章

es中的analyzer,tokenizer,filter你真的了解吗?

最近在做搜索推荐相关的需求,有一个场景中需要某一列能处理多种分词器的分词匹配,比如我输入汉字或拼音或语义相近的词都需要把匹配结果返回回来。经过一番调研,最终我们...

开发架构二三事
ElasticsearchServicehttps网络安全HTMLAnalyzer
发表了文章

从头分析flink源码第三篇之jobGraph的生成

上一篇中我们分析了一个简单的flink wordcount程序由DataStream的transformation列表转换成StreamGraph的过程,紧接着...

开发架构二三事
数据结构LinuxFlink大数据编程算法
发表了文章

从头分析flink源码第二篇之streamGraph的生成

上一篇我们分析了DataStream wordcount程序的几步操作中整个DataStream的转变,包括不同类型的Transformation的生成、整个T...

开发架构二三事
数据结构PythonJavaScriptCSS
发表了文章

flink源码从头分析第一篇之WordCount DataStream操作

每个应用程序都有一个hello world代码,在flink里面这个hello world一般就是一段wordcount程序,我们来尝试通过一段wordcoun...

开发架构二三事
PythonCSSMapReduceFlink大数据
发表了文章

flink源码分析之kafka consumer的执行流程

线上flink任务稳定运行了两个多月了,突然之间收到了消息堆积较多的报警,kafka上看到的现象是消息堆积较多。问过业务人员得知,对应的流表在前一天重新刷了一遍...

开发架构二三事
Flink大数据Node.jsKafka
发表了文章

hystrix并发不友好?sentinel怎么样?

最近公司压测,业务系统压测效果一直不是很好,细问之下才知道,在业务系统中会调用很多下游服务。为了控制调用下游服务的时间,防止太长的响应时间拖垮应用,他们针对每一...

开发架构二三事
RPCLinux压力测试
发表了文章

Flink RocksDB State Backend:when and how

流处理应用程序通常是有状态的,“记住”已处理事件的信息,并使用它来影响进一步的事件处理。在Flink中,记忆的信息(即状态)被本地存储在配置的状态后端中。为了防...

开发架构二三事
网络安全httpsFlink大数据HTML
发表了文章

flink分析之Task的生命周期

之前有想过系统地来一番flink源码分析系列,谁曾想工作中需要完成的需求有些多,完整的flink源码分析系列只能一再往后拖了。之前公众号后台有想学习flink的...

开发架构二三事
Flinkhttps大数据网络安全HTML
发表了文章

深入研究Apache Flink中的可缩放状态

•本来打算写一个flink源码分析的系列文章,但由于事情太多,又不太想输出低质量的文章,所以开始看一些好的flink相关博客,本文译自https://www.v...

开发架构二三事
KafkaFlink大数据分布式
发表了文章

flink线程模型源码分析1之前篇将StreamTask中的线程模型更改为基于Mailbox的方法

本文中关于将StreamTask中的线程模型更改为基于Mailbox的方法主要译自如下两处:

开发架构二三事
httpsFlink网络安全大数据Processing
发表了文章

flink中如何自定义Source和Sink?

动态表(Dynamic tables)是Flink的Table&SQL API的核心概念,用于以统一方式处理有界和无界数据。

开发架构二三事
Flink大数据https网络安全Java
发表了文章

flink sql源码分析一之执行流程梳理

我们在梳理flink sql 执行流程时以sql解析、sql校验、sql转化及sql优化的顺序来展开,本篇主要是对过程的梳理,不会涉及过多的代码部分,后面会针对...

开发架构二三事
SQLFlinkCSSPython大数据
发表了文章

flink on yarn 模式下提示yarn资源不足问题分析

在实时计算平台上通过YarnClient向yarn上提交flink任务时一直卡在那里,并在client端一直输出如下日志:

开发架构二三事
YarnNode.jsHadoophttps网络安全
发表了文章

flink jobmanager与taskmanager内存配置源码分析

先来看一下官网上对flink内存设置的介绍。Flink JVM 进程的进程总内存(Total Process Memory)包含了由 Flink 应用使用的内存...

开发架构二三事
https网络安全HTMLFlink大数据
发表了文章

一文读懂比BitMap有更好性能的Roaring Bitmap

1.什么是bitmap?为什么使用bitmap?Roaring bitmap与其他bitmap编码技术相比有哪些优势?2.Roaring bitmap将32位无...

开发架构二三事
容器文件存储存储Java编程算法

个人简介

个人成就

扫码关注腾讯云开发者

领取腾讯云代金券