#HBase

HBase是一个开源的非关系型分布式数据库,它参考了谷歌的BigTable建模,实现的编程语言为Java。

干货 | 盘点Zookeeper在分布式架构中的应用

Yajun_

HBase 是大数据领域使用最广泛的 NoSQL 数据库,Zookeeper 在 HBase 架构中同样扮演着重要角色。我们首先来看一张 HBase 的架构图:

5620

玩转HBase百亿级数据扫描

Yajun_

出于中通业务场景的特殊性,我们需要大量的回刷7-15天的数据,如果全部用离线抽取的方式,会给业务系统带来巨大压力,所以利用Hbaserowkey更新的特性,来存...

6340

关于NoSQL,看这篇就够了

Yajun_

如上图,NoSQL 必须要在一致性、可用性与分区容错性之间做出取舍,目前而言,几乎所有的 NoSQL 都是在保有分区容错性的基础上选择一致性或可用性,例如 HB...

4510

HBase写入过快性能分析及调优

Yajun_

整个写入流程从客户端调用API开始,数据会通过protobuf编码成一个请求,通过scoket实现的IPC模块被送达server的RPC队列中。最后由负责处理R...

5020

HBase漫谈 | HBase分区过多影响&合理分区数量

Yajun_

前段时间总结了一篇关于HBase由于分区过多导致集群宕机的文章,感兴趣的同学可以点击原文《HBase案例 | 20000个分区导致HBase集群宕机事故处理》阅...

4120

Elasticsearch在十亿级别数据下,如何提高查询效率?

Yajun_

本文原文(点击下面阅读原文即可进入) https://blog.csdn.net/qq_20499001/article/details/89261583

3510

HBase案例 | 20000个分区导致HBase集群宕机事故处理

Yajun_

本次HBase集群宕机可以说是典型的小集群过载问题。业务数据量比较大导致HBase分区过多,实时数据的高频写入使得HBase做频繁的刷写与合并操作,给hdfs造...

5810

浅谈HBase region的单点问题

Yajun_

https://www.cnblogs.com/yhxx511/p/9609765.html

4630

聊一聊分布式对象存储解决方案

Yajun_

这是利用HBase的MOB特性支持对象存储功能。Apache HBase2.0 版本开始支持中等对象存储(Medium Object Storage,简称 MO...

4620

深入探讨为什么HBase Scan性能低下

Yajun_

1、HBase不完全是列式存储,确切的说是列族式存储,HBase中可以定义一个列族,列族下可以有都个列,这些列的数据是存在一起的。而且通常情况下我们建议列族个数...

5930

HBase漫谈 | HBase技术选型准则

Yajun_

虽然说HBase是一个面向列的数据库,但它有别于真正的列式存储系统比如Parquet、Kudu等,再加上自身存储架构的设计,使得HBase并不擅长做数据分析,或...

3610

深入理解 HBase Compaction 机制

Yajun_

熟悉HBase的同学应该知道,HBase是基于一种LSM-Tree(Log-Structured Merge Tree)存储模型设计的,写入路径上是先写入WAL...

4120

Apache Kylin 从零开始构建Cube(含优化策略)

王知无

Apache Kylin采用“预计算”的模式,用户只需要提前定义好查询维度,Kylin将帮助我们进行计算,并将结果存储到HBase中,为海量数据的查询和分析提供...

5620

hive与hbase的联系与区别

ZONGLYN

6530

Flink 状态管理和容错机制介绍

smartsi

计算任务的结果不仅仅依赖于输入,还依赖于它的当前状态,其实大多数的计算都是有状态的计算。比如wordcount,给一些word,其计算它的count,这是一个很...

6530

Hadoop实战

硬核项目经理

1.Hadoop是一个开源分布式计算平台,以HDFS(Hadoop Distributed Filesystem,Hadoop分布式文件系统)和MapReduc...

11230

Sqoop1.4.7实现将Mysql数据与Hadoop3.0数据互相抽取

CREATE_17

将 mysql 数据库中的 hive 数据库中的 ROLES 表数据导入到 HDFS 中的 /tmp/root/111 目录下。执行代码如下:

8520

Elasticsearch如何做到亿级数据查询毫秒级返回?

用户5941019

新智云 · 中台质量总监 (已认证)

然后你可以把其他的字段数据存在 MySQL/HBase 里,我们一般是建议用 ES + HBase 这么一个架构。

5620

Apache Kylin VS Apache Doris全方位对比

王知无

本文作者:康凯森,来源于:https://blog.bcmeng.com,文章写的非常详细,从各个方面对Kylin和Doris进行了对比。

10930

0676-5.16.2-Apache Phoenix for CDH

Fayson

如果优化HBase,基于Phoenix的应用程序同样也会受益,从而获得更好的性能。例如Phoenix实现了主键的加盐 - 因此HBase用户不用考虑Rowkey...

8920

扫码关注云+社区

领取腾讯云代金券