专栏首页芋道源码1024再谈 HBase 八大应用场景

再谈 HBase 八大应用场景

1. HBase概述

HBase是一个分布式存储、数据库引擎,可以支持千万的QPS、PB级别的存储,这些都已经在生产环境验证,并且在广大的公司已经验证。特别是阿里、小米、京东、滴滴内部都有数千、上万台的HBase集群。选择一个技术的首要条件是对齐大公司,大公司会投入大量的人力去维护、改进、贡献社区。

2. 关于 NewSQL 与 NoSQL 的关系

技术总是不断向前发展的,如今都在提NewSQL,其实NewSQL在笔者看来是NoSQL之上的一个封装,一个子场景。NoSQL中的大表,典型就是提供了KV1V2……Vn,其中每个V可以是1b,也可以是100MB。可以说是一个元的存在,就类似于数字世界的01,可以任意组合。在以HBase为代表的NoSQL中,HBase可以组合出任意的场景,NewSQL可以是之上加了SQL层或者更近一层添加事务的子场景。

3. 关于计算与存储分离

在云上,对于引擎最为核心的就是存储计算分离,存储可以按需计费,起码得弹性伸缩。计算则按节点存储提供。如果完全按照QPS计费,要么费用高得吓人,要么难以满足更多的场景,比如存储10M,到底算一次QPS,还是多少次。 由于HBase天生就是存储计算分离,天然比较适配云上的架构,可以说到了云上,HBase更加具有优势。

4. HBase 场景

HBase可以说是一个数据库,也可以说是一个存储。拥有双重属性的HBase天生就具备广阔的应用场景。在最近的一些版本中,引入了OffHeap降低gc影响,优化链路延迟,提供Replica等可以满足在线的需求。引入MOB,可以存储10M左右的对象,完全适应了对象存储。另外由于自身的并发能力、存储能力,可以说是具有最为竞争力的引擎

  • 对象存储:我们知道不少的头条类、新闻类的的新闻、网页、图片存储在HBase之中,一些病毒公司的病毒库也是存储在HBase之中
  • 时序数据:HBase之上有OpenTSDB模块,可以满足时序类场景的需求
  • 推荐画像:特别是用户的画像,是一个比较大的稀疏矩阵,蚂蚁的风控就是构建在HBase之上
  • 时空数据:主要是轨迹、气象网格之类,滴滴打车的轨迹数据主要存在HBase之中,另外在技术所有大一点的数据量的车联网企业,数据都是存在HBase之中
  • CubeDB OLAP:Kylin一个cube分析工具,底层的数据就是存储在HBase之中,不少客户自己基于离线计算构建cube存储在hbase之中,满足在线报表查询的需求
  • 消息/订单:在电信领域、银行领域,不少的订单查询底层的存储,另外不少通信、消息同步的应用构建在HBase之上
  • Feeds流:典型的应用就是xx朋友圈类似的应用
  • NewSQL:之上有Phoenix的插件,可以满足二级索引、SQL的需求,对接传统数据需要SQL非事务的需求 更多的场景需要不断挖掘

5. 结尾

以上再次回顾HBase的场景,做了一个简单的分类,后续会有一些针对一些场景的实际案例

本文分享自微信公众号 - 芋道源码(YunaiV)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-11-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 别再说你不会 ElasticSearch 调优了,都给你整理好了

    ES发布时带有的默认值,可为es的开箱即用带来很好的体验。全文搜索、高亮、聚合、索引文档 等功能无需用户修改即可使用,当你更清楚的知道你想如何使用es后,你可以...

    芋道源码
  • 注册中心 Eureka 源码解析 —— 应用实例注册发现 (二)之续租

    本文主要分享 Eureka-Client 向 Eureka-Server 续租应用实例的过程。

    芋道源码
  • 【死磕Java并发】—–深入分析synchronized的实现原理

    记得刚刚开始学习Java的时候,一遇到多线程情况就是synchronized,相对于当时的我们来说synchronized是这么的神奇而又强大,那个时候我们赋予...

    芋道源码
  • 使用 Postman 调试 ASP.NET Core 开发的 API

    发布于 2018-09-09 12:38 更新于 2018-09...

    walterlv
  • 简易数据分析 13 | Web Scraper 抓取二级页面(详情页)

    不知不觉,web scraper 系列教程我已经写了 10 篇了,这 10 篇内容,基本上覆盖了 Web Scraper 大部分功能。今天的内容算这个系列的最后...

    卤代烃
  • 美国免费为全世界提供GPS服务,为什么中国还要搞“北斗”?

    摘要:12月27日,在国务院新闻办公室新闻发布会上,中国卫星导航系统管理办公室主任、北斗卫星导航系统新闻发言人冉承其宣布——北斗三号基本系统完成建设,于今日开始...

    钱塘数据
  • Git 默认不区分大小写

    背景: 通过代码规范,修改了包名为全小写(修改了文件夹目录),但发现push后,git服务器的文件夹目录还是为大写 解决方法: git默认是不区分大小写的,意思...

    千往
  • NTP网络时间服务器运用卫星授时技术建设标准化考场时钟系统

    通过NTP校时器(母钟)自动接收GPS卫星或者我国的北斗卫星信号,通过卫星授时信号主板处理后,再将该标准时间信号以网络时间同步技术NTP/SNTP的方式同时发送...

    NTP网络同步时钟
  • python如何以表格形式打印输出

    虽说可以用 prettytable 实现这个效果,不过还得安装这个库,需求比较简单就不考虑安装第三方依赖了,所以得自己写

    书童小二
  • 【年度系列】实战交易策略的精髓(公众号深度呈现)

    这篇推文的核心词汇是交易。通过自问自答的形式记呈现给大家,没有繁杂的公式,绚丽的图表,都是淳朴的文字,但却是通过多年实战交易所得的经验。希望大家能够认真阅读这篇...

    量化投资与机器学习微信公众号

扫码关注云+社区

领取腾讯云代金券