腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

暴走大数据

专栏作者

298

文章

535073

阅读量

99

订阅数

时间轮在Netty、Kafka中的应用

kafka linux java 编程算法

时间轮是一个高性能、低消耗的数据结构，它适合用非准实时，延迟的短平快任务，例如心跳检测。在Netty、Kafka、Zookeeper中都有使用。

大数据真好玩

2022-12-05

1.1K0

ClickHouse 数据类型全解析及实际应用

java ipv6 编程算法 tcp/ip python

基础类型只有数值、字符串和时间三种类型，没有 Boolean 类型，但可以使用整型的 0 或 1 替代。ClickHouse 的数据类型和常见的其他存储系统的数据类型对比:

大数据真好玩

2022-03-28

3.6K0

【Flume】实现MySQL数据增量自动提交到ClickHouse

jquery https kafka 网络安全 java

源码在https://reviews.apache.org/r/50692/diff/1#2 下面的操作需要cd到

大数据真好玩

2022-03-28

2.4K0

保姆级超详细教程：DolphinScheduler单机(本地)部署及软件运行测试

bash bash 指令 java linux 云数据库 SQL Server

下载最新版本的后端安装包至服务器部署目录，比如创建 /opt/dolphinscheduler 做为安装部署目录，下载地址：https://dlcdn.apache.org/dolphinscheduler/1.3.8/apache-dolphinscheduler-1.3.8-src.tar.gz，下载后上传 tar 包到该目录中

大数据真好玩

2021-12-02

4.1K0

Flink面试通关手册「160题升级版」

flink java api 数据库大数据

主要是当Flink开启Checkpoint的时候，会往Source端插入一条barrir，然后这个barrir随着数据流向一直流动，当流入到一个算子的时候，这个算子就开始制作checkpoint，制作的是从barrir来到之前的时候当前算子的状态，将状态写入状态后端当中。然后将barrir往下流动，当流动到keyby 或者shuffle算子的时候，例如当一个算子的数据，依赖于多个流的时候，这个时候会有barrir对齐，也就是当所有的barrir都来到这个算子的时候进行制作checkpoint，依次进行流动，当流动到sink算子的时候，并且sink算子也制作完成checkpoint会向jobmanager 报告 checkpoint n 制作完成。

大数据真好玩

2021-07-07

2.6K0

Flink系列 - 实时数仓之CEP预警实战

flink 大数据 java api

CEP 即Complex Event Processing - 复杂事件，Flink CEP 是在 Flink 中实现的复杂时间处理(CEP)库。处理事件的规则，被叫做“模式”(Pattern)，Flink CEP 提供了 Pattern API，用于对输入流数据进行复杂事件规则定义，用来提取符合规则的事件序列。

大数据真好玩

2021-01-26

1.4K0

Flink流量控制与反压机制完全总结

缓存 flink 大数据 socket编程 java

笔者最近回顾自己对Flink技术栈细节的理解，发现对Flink的网络栈、流控与反压这一套机制存在比较大的盲区。虽然平时多次处理过作业反压的问题，但是不完全理解背后的实现显然说不过去。于是专门写一篇总结，站在大佬们的肩膀上彻底搞清楚Flink是怎么做流控与处理反压的。

大数据真好玩

2020-11-04

1.6K0

ES原理三连击 | 写入原理/查询原理/倒排索引

es 缓存搜索引擎 lucene/solr java

es 写入数据的工作原理是什么啊？es 查询数据的工作原理是什么啊？底层的 lucene 介绍一下呗？倒排索引了解吗？

大数据真好玩

2020-11-03

2.9K0

Flink源码解读系列 | Flink中异步AsyncIO的实现

java io queue record 异步

主要区别是往下游output的顺序（注意这里顺序不是写库的顺序既然都异步了写库的顺序自然是无法保证的），有序的会按接收的顺序继续往下游output发送，无序就是谁先处理完谁就先往下游发送

大数据真好玩

2020-09-22

6180

Flink源码解读系列 | Flink中接收端反压以及Credit机制

java http android

可以看到每个task都会有自己对应的IG(inputgate)对接上游发送过来的数据和RS(resultPatation)对接往下游发送数据, 整个反压机制通过inputgate,resultPatation公用一个一定大小的memorySegmentPool来实现(Flink中memorySegment作为内存使用的抽象，类比bytebuffer), 公用一个pool当接收上游数据时Decoder，往下游发送数据时Encoder,都会向pool中请求内存memorySegment 。因为是公共pool，也就是说运行时，当接受的数据占用的内存多了，往下游发送的数据就少了，这样是个什么样的情况呢？

大数据真好玩

2020-09-22

8060

Flink源码解读系列 | Flink中发送端反压以及Credit机制

java flink 大数据

上一篇《Flink接收端反压机制》说到因为Flink每个Task的接收端和发送端是共享一个bufferPool的，形成了天然的反压机制,当Task接收数据的时候，接收端会根据积压的数据量以及可用的buffer数量(可用的memorySegment数)来决定是否向上游发送Credit(简而言之就是当我还有空间的时候，我向上游也就是上一个Task的发送端发送一个ack消息,表明我还有空间你可以发送数据过来，如果下游没有给你Credit就证明下游已经堵了，没有空间了也就不能继续往下游发送了)

大数据真好玩

2020-09-22

9800

Flink源码解读系列 | Periodic水印和Punctuated水印实现原理

在用户代码中，我们设置生成水印和事件时间的方法assignTimestampsAndWatermarks（）中这里有个方法的重载

大数据真好玩

2020-09-14

6580

Flink源码解读系列 | JobManager启动

rpc 数据结构 java 大数据

在启动脚本里面已经找到了jobmanager的启动类org.apache.flink.runtime.entrypoint.StandaloneSessionClusterEntrypoint(local模式更简单直接在Driver端的env.exection()直接启动了，有兴趣可以研究一下)

大数据真好玩

2020-09-04

9280

Flink源码解读系列 | TaskManager启动

rpc flink 大数据 java

通过启动脚本已经找到了TaskManager 的启动类org.apache.flink.runtime.taskexecutor.TaskManagerRunner

大数据真好玩

2020-09-04

9870

CDH5.11 离线安装或者升级spark2.x详细步骤

spark parcel yarn node.js java

在我CDH5.11集群中，默认安装的spark是1.6版本，这里需要将其升级为spark2.x版本。经查阅官方文档，发现spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。我尝试了安装spark2.0版本和spark2.1版本，均告成功。这里做一下安装spark2.1版本的步骤记录。

大数据真好玩

2020-08-28

4520

万字精美图文 | JVM学习面试大总结

jvm java 编程算法 linux

本JVM系列属于本人学习过程当中总结的一些知识点，目的是想让读者更快地掌握JVM相关的知识要点，难免会有所侧重，若想要更加系统更加详细的学习JVM知识，还是需要去阅读专业的书籍和文档。

大数据真好玩

2020-02-19

3060

SparkRDD转DataSet/DataFrame的一个深坑

文件存储 spark 编程算法 sql java

原需求：希望在map函数中将每一个rdd转为DataSet或者DataFrame。

大数据真好玩

2019-10-25

7250

全网第一 | Flink学习面试灵魂40问答案！

https 网络安全 api 文件存储 java

Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供了诸多更高抽象层的API以便用户编写分布式任务：

大数据真好玩

2019-09-17

10.3K0

Spark shuffle读操作

spark vr 视频解决方案大数据 java mapreduce

1. shuffle过程的数据是如何传输过来的，是按文件来传输，还是只传输该reduce对应在文件中的那部分数据？

大数据真好玩

2019-08-27

8130

Spark Core源码精读计划26 | 内存存储MemoryStore的具体实现

存储文件存储 java 编程算法

前面我们已经对内存池MemoryPool、内存管理器MemoryManager有了比较深入的了解，接下来要介绍的就是MemoryStore，它负责Spark内存存储的具体事项，将内存管理机制与存储块联系起来。本文先介绍与MemoryStore相关的MemoryEntry，然后详细分析MemoryStore的主要源码。

大数据真好玩

2019-08-21

7090

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态