鸿的学习笔记

238 篇文章
31 人订阅

全部文章

哒呵呵

Presto对ORC格式的优化

最近Presto的官网发表了一篇文章,叙述了新版本的Presto对ORC格式读取的性能优化过程,包含了很多代码细节,非常有趣,故进行简单编译。

1184
哒呵呵

Streaming SQL基础

基于 Stream & Table relativity,《Streaming Systems》将 declarative 的编程方式往前推进到数据系统中最常用...

915
哒呵呵

实时计算实践:快速分析实时数据的解决方案

在分布式系统中,根据应用的场景选择对应的数据存储方式是非常重要的一件事。这篇文章讨论的是在实时数据不断进入的情况下,如何结合历史数据进行快速分析。

992
哒呵呵

《Streaming Systems》第五章-精确一次处理

今天的文章简单提下所谓的流计算中精确一次处理的实现。所谓精确一次处理是相对于至少一次和至多一次处理而言的,由系统保证在整个处理过程中所有数据有且仅被处理一次。

823
哒呵呵

2019-03-31的一周好文推荐

https://kudu.apache.org/2019/03/19/testing-apache-kudu-applications-on-the-jvm.h...

652
哒呵呵

简单聊下最近我对数据系统的看法

1. 因为面向对象语言和关系性数据库存在阻抗不匹配(impedance mismatch),并且随着需要处理的数据量增大,文档型数据以“NoSQL”的名义获得了...

944
哒呵呵

流表相对论

《Streaming Systems》第二部分讨论的是Stream and Table Relativity,翻译过来就是流表相对论。从Stream and T...

782
哒呵呵

一周好文推荐

802
哒呵呵

一周好文推荐

491
哒呵呵

由Dataflow模型聊Flink和Spark

Dataflow模型(或者说Beam模型)旨在建立一套准确可靠的关于流处理的解决方案。在Dataflow模型提出以前,流处理常被认为是一种不可靠但低延迟的处理方...

1002
哒呵呵

《Streaming Systems》第四章-窗口

《Streaming Systems》第四章相较于前三个章节更为复杂,倘若不是作者给出了大量的动图,恐怕大部分读者都会晕乎乎的了吧(所以强烈建议这一章观看Saf...

723
哒呵呵

《Streaming Systems》第三章-水印

在上文提到过,水印是数据完整性的度量,也就是说,水印决定了流处理系统(以下用“系统”代指)何时关闭事件时间窗口(event-time window),不再接收任...

682
哒呵呵

使用工厂模式优化 if/elif/else 代码

工厂模式不需要详细解释了,具体的可以在 Design Patterns: Elements of Reusable Object-Oriented Softwa...

622
哒呵呵

《Streaming Systems》第三章-水印

在上文提到过,水印是数据完整性的度量,也就是说,水印决定了流处理系统(以下用“系统”代指)何时关闭事件时间窗口(event-time window),不再接收任...

983
哒呵呵

《Streaming Systems》第一章导读

1223
哒呵呵

《Streaming Systems》第二章导读

《Streaming Systems》第二章总结了构建一个正确、稳定、低时延的流处理系统将会面临的四个问题及其解决办法:

643
哒呵呵

2018年那些值得推荐的计算机类书籍

当之无愧的2018第一神书,虽然出版时间略晚,后发亦可先制。读此书之前可以先读《Streaming 101》和《Streaming 102》预热。《Stream...

1394
哒呵呵

记录大时代下的又一个春节

明天就是开工的日子了,美好的日子都是短暂的,春节有什么收获呢?和大家简单聊聊在一个四五六七八...

732
哒呵呵

使用工厂模式优化 if/elif/else 代码

工厂模式不需要详细解释了,具体的可以在 Design Patterns: Elements of Reusable Object-Oriented Softwa...

931
哒呵呵

简单聊下最近我对数据系统的看法

1. 因为面向对象语言和关系性数据库存在阻抗不匹配(impedance mismatch),并且随着需要处理的数据量增大,文档型数据以“NoSQL”的名义获得了...

1143

扫码关注云+社区