腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

暴走大数据

专栏作者

298

文章

537686

阅读量

99

订阅数

Hbase WAL日志数据实时增量推送至Kafka

hbase TDSQL MySQL 版 kafka rpc 批量计算

Hbase提供了跨集群的数据同步方式Replication,可通过自定义Replication Endpoint，把消息写入kafka，先来了解Hbase Replication集群之间进行复制同步的过程，整体数据复制流程如下图：

大数据真好玩

2022-04-27

1.4K0

Flink源码解读系列 | 任务提交流程

数据结构 rpc linux flink 大数据

Flink在1.10版本对整个作业提交流程有了较大改动，详情请见FLIP-73。本文基于1.10对作业提交的关键流程进行分析，不深究。入口：依旧是main函数最后env.execute();

大数据真好玩

2020-09-22

8430

Flink 源码解读系列 | Flink的Job启动Driver端

数据结构 linux 编程算法 node.js rpc

整个Flink的Job启动是通过在Driver端通过用户的Envirement的execute()方法将用户的算子转化成StreamGraph

大数据真好玩

2020-09-07

6110

Flink源码解读系列 | JobManager启动

rpc 数据结构 java 大数据

在启动脚本里面已经找到了jobmanager的启动类org.apache.flink.runtime.entrypoint.StandaloneSessionClusterEntrypoint(local模式更简单直接在Driver端的env.exection()直接启动了，有兴趣可以研究一下)

大数据真好玩

2020-09-04

9330

Flink源码解读系列 | TaskManager启动

rpc flink 大数据 java

通过启动脚本已经找到了TaskManager 的启动类org.apache.flink.runtime.taskexecutor.TaskManagerRunner

大数据真好玩

2020-09-04

9920

聊聊分布式系统架构

rpc 分布式开源缓存文件存储

一、分布式系统的经典基础理论 1、分布式系统设计的两大思路：中心化和去中心化中心化：中心化的设计思想在自然界和人类生活中是如此的普遍和自然，它的设计思想也很简单，分布式集群中的节点按照角色分工，可以分为两种角色--“领导”和“干活的”，中心化的一个思路就是“领导”通常分发任务并监督“干活的”，谁空闲了就给它安排任务，谁病倒了就一脚踢出去，然后把它的任务分给其他人；中心化的另一个思路是领导只负责生成任务而不再指派任务，由每个“干活的”自发去领任务。去中心化：全球IP互联网就是一个典型的去中心化的分布式控

大数据真好玩

2019-09-04

1.2K0

科学使用HBase Connection

hbase TDSQL MySQL 版编程算法 rpc

这个问题的答案简单而不简单：HBase客户端是不需要维护连接池的，或者说，Connection对象已经帮我们做好了。但是，对Connection使用不当是HBase新手（包括很久很久之前的我自己）最容易犯的错误之一，常见错误用法有：

大数据真好玩

2019-09-02

3.9K0

Spark Core源码精读计划#29：BlockManager主从及RPC逻辑

rpc 编程算法

通过前面几篇文章的讲解，我们就把Spark Core存储体系中的内存存储和磁盘存储逻辑基本上讲完了，而负责将这些组件统一管理并发挥作用的就是BlockManager，那么从本文开始，我们就来逐渐探索它的细节……

大数据真好玩

2019-08-21

6440

Spark Core源码精读计划15 | 心跳接收器HeartbeatReceiver

spark 编程算法 rpc

按照SparkContext初始化的顺序，下一个应该是心跳接收器HeartbeatReceiver。由于笔者感染乙流仍然没有痊愈，状态不好，文中若有疏漏，请批评指正。

大数据真好玩

2019-08-19

1.1K0

Spark Core源码精读计划12 | Spark序列化及压缩机制浅析

文件存储 spark scala rpc java

《Spark Core源码精读计划3 | SparkContext辅助属性及后初始化》

大数据真好玩

2019-08-14

7030

Spark Core源码精读计划9 | Spark RPC环境中的消息调度逻辑

rpc java 编程算法

上一篇文章以NettyRpcEnv的概况结尾，对它内部的一些重要组件进行了简要的介绍。比起继续向下深挖，个人感觉现在平行地来搞比较合适，毕竟我们已经来到了相当底层的地方不是么？

大数据真好玩

2019-08-08

8170

Spark Core源码精读计划10 | NettyRpcEnv客户端消息发送逻辑

在上一篇文章中，我们了解了NettyRpcEnv内的调度器Dispatcher的内部细节。Dispatcher涉及到的主要是消息接收、路由与处理的机制，也就是NettyRpcEnv作为服务端应该具备的功能。既然它的名字叫“RPC环境”，那么就应该既能接收，也能发送消息。本文就主要来看一看NettyRpcEnv作为客户端向远端端点发送消息的逻辑。

大数据真好玩

2019-08-08

8670

Spark Core源码精读计划8 | SparkEnv中RPC环境的基础构建

在之前的文章中，我们由SparkContext的初始化提到了事件总线LiveListenerBus与执行环境SparkEnv。在讲解SparkEnv的过程中，RPC环境RpcEnv又是首先被初始化的重要组件。做个不怎么恰当的比较，SparkEnv之于SparkContext，正如RpcEnv之于SparkEnv。

大数据真好玩

2019-08-08

5530

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态