大数据进阶

65 篇文章
16 人订阅

全部文章

yiduwangkai

netty(3)-译j2ee interceptingfilter

上下文 表示层请求处理机制接收许多不同类型的请求,这需要各种类型的处理。有些请求只是简单地转发到适当的处理程序组件,而其他请求必须先进行修改,审核或解压缩,然...

6520
yiduwangkai

【转】一文看懂JVM内存布局及GC原理

杨俊明,携程云客服平台研发部软件技术专家。从事IT行业10余年,腾讯云+社区、阿里云栖社区、华为云社区认证专家。近年来主要研究分布式架构、微服务、Java技术等...

9620
yiduwangkai

【译】如何调整ApacheFlink®集群的大小How To Size Your Apache Flink® Cluster: A Back-of-the-Envelope Calculation

来自Flink Forward Berlin 2017的最受欢迎的会议是Robert Metzger的“坚持下去:如何可靠,高效地操作Apache Flink”...

11610
yiduwangkai

A Practical Guide to Broadcast State in Apache Flink

从版本1.5.0开始,Apache Flink具有一种称为广播状态的新型状态。 在这篇文章中,我们解释了广播状态是什么,并展示了如何将其应用于评估事件流上的动态...

11030
yiduwangkai

【译】Flink Network Stack Vol. 2: Monitoring, Metrics, and that Backpressure Thing

在之前的博文中,我们介绍了Flink的网络堆栈如何从高级抽象到低级细节。 此系列网络堆栈帖子中的第二篇博客文章扩展了这一知识,并讨论了监视与网络相关的指标,以识...

8530
yiduwangkai

【译】A Deep-Dive into Flink's Network Stack(3)

单个 TaskManager 上的缓冲区总数通常不需要配置。需要配置时请参阅配置网络缓冲区文档。

14130
yiduwangkai

flink系列(11)-checkpoint的存储设计和实现

CheckpointStreamFactory/CheckpointOutputStream 接口提供了一套基层的状态存储的基础实现

11720
yiduwangkai

【译】A Deep-Dive into Flink's Network Stack(2)

对于下图所示的示例,我们将假设4的并行性和具有两个任务管理器的部署,每个任务管理器提供2个插槽。 TaskManager 1执行子任务A.1,A.2,B.1和B...

10630
yiduwangkai

【译】A Deep-Dive into Flink's Network Stack(1)

Flink的网络堆栈是组成flink-runtime模块的核心组件之一,是每个Flink工作的核心。 它连接所有TaskManagers的各个工作单元(子任务)...

11540
yiduwangkai

【译】Data exchange between tasks(任务之间的数据交换)

1.用于数据交换的控制流(即:为了启动交换而传递的消息)是接收者启动的,就像原始MapReduce一样

8710
yiduwangkai

python-protobuf2uml

首先这篇文章是参考的https://github.com/vak/protobuf2uml

7940
yiduwangkai

flink系列(10)-状态State和状态描述StateDescriptor

InternalKVState 提供了只对 Flink 引擎暴露的接口比如 namespace set/get、val get、namespace mergin...

13220
yiduwangkai

【转】Go 语言函数

Go 语言标准库提供了多种可动用的内置的函数。例如,len() 函数可以接受不同类型参数并返回该类型的长度。如果我们传入的是字符串则返回字符串的长度,如果传入的...

6230
yiduwangkai

【转】string类型和其他类型的值的互转

由于在开发过程中遇到类型转换问题,比如在web中某个参数是以string存在的,这个时候需要转换成其他类型,这里官方的strconv包里有这几种转换方法。

10220
yiduwangkai

【转】Go语言---strings包(字符串操作)

字符串求长度 求子串 是否存在某个字符或者子串 子串出现的次数(字符串匹配) 字符串分割(切分)成[]string 字符串是否存在某个前缀或后缀 字...

9620
yiduwangkai

【转】go get命令使用socket代理

由于某些不可描述的原因,国内使用go get命令安装某些包的时候会超时导致失败,比如net包、sys包、tools包等。第一种解决办法就是自己从git上下载后添...

10020
yiduwangkai

flink系列(9)-flink任务提交流程分析

连续写了几天的flink StreamGraph的代码,今天闲来说一下flink的启动,今天主要说的是本地模式(LocalStreamEnvironment)启...

32620
yiduwangkai

【转】分布式数据流的轻量级异步快照

本篇翻译自论文:Lightweight Asynchronous Snapshots for Distributed Dataflows,Flink的容错快照模...

7120
yiduwangkai

flink系列(8)-streamGraph

上一篇我们说完了transformation的产生,这里来具体说一下如何产生streamGraph,下面先来看一下主要的产生逻辑

8010
yiduwangkai

flink系列(7)-streamGraph

StreamGraph是flink四层执行图中的第一层图,代码在org.apache.flink.streaming.api.graph包中,第一层graph主...

6220

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励