暂无搜索历史
一般也不需要非常仔细地进行数据分层,数据直接通过Flink计算或者聚合之后将结果写MySQL/ES/HBASE/Druid/Kudu等,直接提供应用查询或者多维...
数据越冗余越难保证数据一致性,分布式存储就是这样,但是维度退化到事实表后相当于预聚合了,所以查询分析效率高。
分布式系统解决的主要矛盾是单机单节点的瓶颈问题。例如,性能和可用性。技术演进所使用的基本思想是分治和多副本。衍生出数据多副本,任务多副本,并行计算,移动计算,数...
1. Disruptor:Apache Storm底层应用了Disruptor来实现worker内部的线程通信;
本文主要聊一聊笔者对软件工程、系统设计、OOA/OOD/OOP、面向对象设计原则、设计模式等概念的简单理解。这些都是高度抽象化,同时又很重要的概念。笔者仅是一个...
线程模型能帮助我们更深刻的理解Flink任务执行原理,更精确的控制Flink程序,这些是使用Flink解决复杂问题、写出高性能和高可用程序的基础。
从【Flink】第二十七篇:三天撸了一个 Flink SQL 字段血缘算法 这篇文章开始,笔者开启了一个Flink SQL字段血缘实现的探索之路。但是由于当时只...
上一篇【Flink】第三十篇:Netty 之 Java NIO 为大家分享了IO 中的基本概念、5种 IO 模型、IO多路复用、Reactor IO设计模式。
从本篇开始回顾总结Netty通信框架,尝试为读者揭开它的神秘面纱。Flink内部节点之间的通信是用Akka,比如JobManager和TaskManager之间...
【Flink】第四篇:【迷思】对update语义拆解D-、I+后造成update原子性丢失
继以上 Flink Join 两篇文章之后探讨最后一类Flink的Join:temporal join。
【Flink】第四篇:【迷思】对update语义拆解D-、I+后造成update原子性丢失 【Flink】第五篇:checkpoint【1】 【Flink】第五...
Flink的内存管理是基于JVM内存模型的,所以,在内存调优或者解决各种OOM等问题时JVM内存管理是绕不开的话题。本文以Direct Memory为切入点,探...
HBase的设计思想主要是LSM。参见【Flink】第十四篇:LSM-Tree一般性总结。而LSM存储引擎的主要设计思想就是不断的将内存的有序存储结构flus...
经过测试环境的基本验证后,在线上试跑我们的Flink SQL批量从Hive抽数到HBase程序,出现了GC时间超阈值的警告,
暂未填写公司和职称
暂未填写个人简介
暂未填写学校和专业
暂未填写个人网址
暂未填写所在城市