腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

鸿的学习笔记

专栏作者

330

文章

281574

阅读量

49

订阅数

瞎扯 Hbase ，很多人都理解错了

hbase TDSQL MySQL 版数据库 sql unix

今天扯一下 Hbase ，我对 Hbase 的了解起源于两篇文章Understanding HBase and BigTable和《李逵麻子，李鬼坑人--BigTable的数据模型》；这两篇本质上还是一篇文章，《李逵麻子，李鬼坑人--BigTable的数据模型》类似于Understanding HBase and BigTable的中文版讲解。还好的是我是先读的这两篇文章，再去看 Hbase 的官方文档和使用 Hbase ，否则真有可能被 Hbase 的概念给糊弄进去了。要知道，对一个软件或者工具，要想深刻理解和使用它，第一印象很重要，它决定你学习的进度，要是弄错了，学习的时候就会很痛苦，怎么也无法理解这个工具怎么设计的。

2020-02-26

7260

《Streaming Systems》第三章-水印

在上文提到过，水印是数据完整性的度量，也就是说，水印决定了流处理系统（以下用“系统”代指）何时关闭事件时间窗口（event-time window），不再接收任何迟到的数据（late data），开始计算输出结果。这样的描述很容易理解，但不够精确，因此作者基于任意一个事件都包含属于自己的逻辑时间戳的假设和事件消息在流处理系统中可以被划分为“in-flight”和“completed”两个状态，定义水印为：

2019-04-26

3950

《Streaming Systems》第三章-水印

在上文提到过，水印是数据完整性的度量，也就是说，水印决定了流处理系统（以下用“系统”代指）何时关闭事件时间窗口（event-time window），不再接收任何迟到的数据（late data），开始计算输出结果。这样的描述很容易理解，但不够精确，因此作者基于任意一个事件都包含属于自己的逻辑时间戳的假设和事件消息在流处理系统中可以被划分为“in-flight”和“completed”两个状态，定义水印为：

2019-04-09

1.1K0

unix 人工智能

流处理比起之前的批处理而言，需要考虑的东西更多。批处理有个前提，那就是输入必定是固定的大小，而流处理处理的数据是不会暂停的，与线上服务需要处理的数据也不一样，线上服务需要等待使用者发送请求再回复请求。流(stream)这个概念应用的相当广泛，例如TCP协议，Unix里的pipeline，而流处理的流特指的是‘event stream’，什么是event呢？它指的是一个携带着时间以及信息的不可变，self-contained的对象，event可以是一个文本，或者其他什么的二进制文件。相关的event可以包含进一个topic或者stream。说完了概念，那我们再看看两种主要的流处理框架。

2018-08-06

3720

没有更多了

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态