专栏首页韩锋频道浅谈“HTAP”

浅谈“HTAP”

HTAP是近些年来比较火的一个概念,下面就聊聊其前世今生及技术特点。

1. 数据应用类别

根据数据的使用特征,可简单做如下划分。在选择技术平台之前,我们需要做好这样的定位。

1).OLTP

联机事务处理OLTP

(On-Line Transaction Processing)

OLTP是事件驱动、面向应用的,也称为面向交易的处理过程。其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理,并在很短的时间内给出处理结果,是对用户操作的快速响应。例如银行类、电子商务类的交易系统就是典型的OLTP系统。其具备以下特点:

  • 直接面向应用,数据在系统中产生。
  • 基于交易的处理系统。
  • 每次交易牵涉的数据量很小;对响应时间要求非常高。
  • 用户数量非常庞大,其用户是操作人员,并发度很高。
  • 数据库的各种操作主要基于索引进行。
  • 以SQL作为交互载体。
  • 总体数据量相对较小。

2).OLAP

联机实时分析OLAP

(On-Line Analytical Processing)

OLAP是面向数据分析的,也称为面向信息分析处理过程。它使分析人员能够迅速、一致、交互地从各个方面观察信息,以达到深入理解数据的目的。其特征是应对海量数据,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。例如数据仓库是其典型的OLAP系统。其具备以下特点:

  • 本身不产生数据,其基础数据来源于生产系统中的操作数据
  • 基于查询的分析系统;复杂查询经常使用多表联结、全表扫描等,牵涉的数量往往十分庞大
  • 每次查询设计的数据量很大,响应时间与具体查询有很大关系
  • 用户数量相对较小,其用户主要是业务人员与管理人员
  • 由于业务问题不固定,数据库的各种操作不能完全基于索引进行
  • 以SQL为主要载体,也支持语言类交互
  • 总体数据量相对较大

3).OTHER

除了传统的OLTP、OLAP类,近些年来针对数据的使用又有些新特点,我将其归入了“其他”类。

  • 多模 随着业务“互联网化”和“智能化”的发展以及架构 “微服务”和“云化”的发展,应用系统对数据的存储管理提出了新的标准和要求,数据的多样性成为突出的问题。早期数据库主要面对结构化数据的处理场景。后面随着业务的发展,逐渐产生了对非结构化数据的处理需求。包括结构化数据、半结构化(JSON、XML等)数据、文本数据、地理空间数据、图数据、音视频数据等。多模,正是指单一数据库支持多种类型数据的存储与处理。
  • 流式 流式处理(实时计算),是来源于对数据加工时效性的需求。数据的业务价值随着时间的流失而迅速降低,因此在数据发生后必须尽快对其进行计算和处理。传统基于周期类的处理方式,显然无法满足需求。随着移动互联网、物联网和传感器的发展导致大量的流式数据产生。相应地出现了专有的流式数据处理平台,如Storm、Kafka等。近些年来,很多数据库开始支持流式数据处理,例如MemSQL、PipelineDB。有些专有流式数据处理平台开始提供SQL接口,例如KSQL基于Kafka提供了流式SQL处理引擎。
  • 高阶 随着对数据使用的深入,数据的使用不再仅仅以简单的增删改查或分组聚合类操作,而对于其更为高阶的使用也逐步引起大家的重视。例如使用机器学习、统计分析和模式识别等算法,对数据进行分析等。

对比 — OLAP vs OLTP

2. 数据处理模式

面对上述复杂多变的应用场景,数据应用的多种类别,是由单一平台处理,还是由不同平台来处理呢?一般来说,专有系统的性能将比通用系统性能高一到两个数量级,因而不同的业务应采用不同的系统。但正如古人说“天下大势、分久必合、合久必分”,在数据处理领域也有一种趋势,由单一平台来处理。这里选择的核心在于如何来辩证看待需求和技术。它们是一对矛盾体,当这对矛盾缓和时,数据处理领域将更趋向于整合;而当这对矛盾尖锐时,数据处理领域将趋于分散。就软硬件技术发展现状和当前需求来看,未来整合的趋势更为明显。集成数据平台将能满足绝大多数用户的场景,只有极少数企业需要使用专有系统来实现其特殊的需求。

1).分散式(专有平台)

目前比较常规的方式,是采用多个专有平台,来针对不同场景进行数据处理。因此是跨平台的,因此是有个数据传输的过程。这之中会带来两个问题:数据同步、数据冗余。数据同步的核心是数据时效性问题,过期的数据往往会丧失价值。常见的做法如下:

OLTP系统中的数据变化,通过日志的形式暴露出来;通过消息队列解耦传输;后端的ETL消费拉取,将数据同步到OLAP中。整个链条较长,对于时效性要求较高的场景是个考验。此外,数据在链条中流动,是存在多份的数据冗余保存。在常规的高可用环境下,数据会进一步保存多份。因此这里面隐藏了比较大的技术、人力成本以及数据同步成本。而且横跨如此之多的技术栈、数据库产品,每个技术栈背后又需要单独的团队支持和维护,如DBA、大数据、基础架构等。这些都蕴含着巨大的人力、技术、时间、运维成本。正是出于在满足各种业务需求的同时,提高时效性,减低数据冗余、缩短链条等,收敛技术栈就变得很重要。这也是通用类平台解决方案,诞生的出发点。

2).集中式(通用平台)

用户厌倦了为不同的数据处理采用不同的数据处理系统,更倾向于采用集成数据处理平台来处理企业的各种数据类型。对于融合了联机事务处理和联机实时分析的场景,也就是下面所谈到的HTAP。此类通用平台方案具备下面优点:

  • 通过数据整合避免信息孤岛,便于共享和统一数据管理。
  • 基于SQL的数据集成平台可提供良好的数据独立性,使应用能专注于业务逻辑,不用关心数据的底层操作细节。
  • 集成数据平台能提供更好的实时性和更全的数据,为业务提供更快更准的分析和决策。
  • 能够避免各种系统之间的胶合,企业总体技术架构简单,不需要复杂的数据导入/导出等,易于管理和维护。
  • 便于人才培养和知识共享,无须为各种专有系统培养开发、运维和管理人才。

3. HTAP

HTAP数据库(Hybrid Transaction and Analytical Process,混合事务和分析处理)。2014年Gartner的一份报告中使用混合事务分析处理(HTAP)一词描述新型的应用程序框架,以打破OLTP和OLAP之间的隔阂,既可以应用于事务型数据库场景,亦可以应用于分析型数据库场景。实现实时业务决策。这种架构具有显而易见的优势:不但避免了繁琐且昂贵的ETL操作,而且可以更快地对最新数据进行分析。这种快速分析数据的能力将成为未来企业的核心竞争力之一。

1).技术要点

  • 底层数据要么只有一份,要么可快速复制,并且同时满足高并发的实时更新。
  • 要满足海量数据的容量问题,在存储、计算都具有很好的线性扩展能力。
  • 具有很好的优化器,可满足事务类、分析类的语句需求。
  • 具备标准的SQL,并支持诸如二级索引、分区、列式存储、向量化计算等技术。

2).重点技术 – 行列存储

行存储(Row-based):对于传统的关系型数据库,比如甲骨文的OracleDB和MySQL,IBM的DB2、微软的SQL Server等,一般都是采用行存储(Row-based)行。在基于行式存储的数据库中,数据是按照行数据为基础逻辑存储单元进行存储的,一行中的数据在存储介质中以连续存储形式存在。

列式存储(Column-based)是相对于行式存储来说的,新兴的Hbase、HP Vertica、EMC Greenplum 等分布式数据库均采用列式存储。在基于列式存储的数据库中,数据是按照列为基础逻辑存储单元进行存储的,一列中的数据在存储介质中以连续存储形式存在。

传统的行式数据库,是按照行存储的,维护大量的索引和物化视图无论是在时间(处理)还是空间(存储)面成本都很高。而列式数据库恰恰相反,列式数据库的数据是按照列存储,每一列单独存放,数据即是索引。只访问查询涉及的列,大大降低了系统I/O,每一列由一个线来处理,而且由于数据类型一致,数据特征相似,极大方便压缩。

3).重点技术 – MPP

MPP (Massively Parallel Processing),即大规模并行处理,在数据库非共享集群中,每个节点都有独立的磁盘存储系统和内存系统,业务数据根据数据库模型和应用特点划分到各个节点上,每台数据节点通过专用网络或者商业通用网络互相连接,彼此协同计算,作为整体提供数据库服务。非共享数据库集群有完全的可伸缩性、高可用、高性能、优秀的性价比、资源共享等优势。简单来说,MPP是将任务并行的分散到多个服务器和节点上,在每个节点上计算完成后,将各自部分的结果汇总在一起得到最终的结果。下面以典型的MPP产品Greenplum架构为例。

4).重点技术 – 资源隔离

OLTP、OLAP类两者对资源的使用特点不同,需要在资源层面做好隔离工作,避免相互影响。常见的通过定义资源队列的方式,指定用户分配队列,起到资源隔离的作用。

5).HTAP产品

下图是网站找到的数据库产品分类图,针对HTAP类的可参考对象线上的相关产品。当然这只是一家之言,仅供参考!

本文分享自微信公众号 - 韩锋频道(hanfeng_channel),作者:韩锋频道

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-09-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • TiDB、OceanBase都在谈的HTAP,为何如此燚?

    这边厢PingCAP刚刚发布面向企业级核心场景、具备完整 HTAP 能力的分布式数据库TiDB 5.0 版本;那边厢OceanBase也紧跟着推出3.0版本,主...

    大数据在线
  • 使用 TiDB 作为 ZaloPay 商户平台核心数据库

    首先介绍一下 VNG。VNG 是越南领先的互联网科技公司,在 2014 年,我们被评为越南唯一一家估值 10 亿美元的创业公司。VNG 推出了许多重要产品,比如...

    PingCAP
  • 如何选择适合你的HTAP数据库?

    最近,在数据库行业对HTAP(混合事务/分析处理,Hybrid Transactional/Analytical Processing)这个概念宣传的非常火爆,...

    Alfred Zhao
  • 将成为数据库主流的HTAP,它能替代Oracle吗?

    11 月 17 日,金山办公登陆科创版,圆了小米集团创始人、金山软件董事长雷军和金山所有员工的“英雄梦”。算下来,从 1999 年以金山办公为业务主体准备上市算...

    AI科技大本营
  • 听说TiDB也有大一统的梦想

    作为一个一直在数据库周边打酱油,又没做出什么见得人成绩的伪数据库工作者,每次轮到我写数据库大数据相关的技术文章,或者不说技术,就说科普文章的时候,一个头疼的问题...

    用户1564362
  • 近期数据库动态解读

    近段时间,数据库市场非常活跃,各类新闻层出不穷。整体市场发展也呈现出较之前明显不同的的变化。本文尝试从近期国内数据库榜单变化情况,分析行业发展特点。以下为个人观...

    用户5548425
  • 【TBase开源版测评】并行处理

    分布式HTAP数据库(TencentDB for TBase)是腾讯自主研发的分布式数据库系统,集高扩展性、高SQL兼容度、完整的分布式事务支持、多级容灾能力以...

    随风飞舞
  • 浅谈大数据的过去、现在和未来

    相信身处于大数据领域的读者多少都能感受到,大数据技术的应用场景正在发生影响深远的变化: 随着实时计算、Kubernetes 的崛起和 HTAP、流批一体的大趋势...

    王知无-import_bigdata
  • 读 TiDB 论文有感 | 数据强一致性且资源隔离的 HTAP 数据库

    陈现麟,伴鱼技术中台负责人,从 0 到 1 搭建伴鱼技术中台,对分布式架构、服务治理、稳定性建设、高并发高 QPS 系统和中台化的组织架构搭建有一定的经验,崇尚...

    PingCAP
  • 浅谈

    首先信息收集,是渗透测试中的一项重中之重!如果服务器是一个保险柜,那么你想要打开这个保险柜,首先你得了解它是什么做的,怎么样的架构,才能去考虑怎么动手。

    Gcow安全团队
  • PingCAP 开源分布式数据库 TiDB 论文入选 VLDB

    8 月 31 日 - 9 月 4 日,第 46 届 VLDB 会议以线上直播的方式举行(原定于日本东京召开),PingCAP 团队的论文《TiDB: A Raf...

    PingCAP
  • PingCAP 与腾讯云达成合作,HTAP 数据库 TiDB 现开放内测

    日前,分布式关系型数据库公司 PingCAP 宣布与腾讯云正式达成合作,联手打造全新云数据库服务—— HTAP 数据库 TiDB。目前 HTAP 数据库 TiD...

    PingCAP
  • DTCC 年度最佳创新产品丨真正的 HTAP 数据库是怎样炼成的?

    12 月 21 日,在第十一届中国数据库技术大会(DTCC)2020 数据风云奖评选活动中,PingCAP-TiDB 荣获 2020 年度最佳创新产品奖。同时,...

    PingCAP
  • 关于 HTAP 数据库应用场景的一些想法

    昨天发了一篇文章讨论的是关系型数据库的变化数据如何同步到数据仓库层面,类似于 MySQL 的 binlog 日志同步到数据仓库进行 OLAP 分析。OLTP环境...

    哒呵呵
  • 我们对比了5款数据库,告诉你NewSQL的独到之处

    对大多数开发人员而言,SQL 以及 MySQL、PostgreSQL 等关系数据库管理系统(即 RDBMS)并不陌生。RDBMS 的基本架构原则已历经了数十年的...

    华章科技
  • 浅谈scrum

    rectinajh
  • 浅谈LVS

    集群(cluster),从字面上就知道,集与群都是多的概念。集群就是多台机器组合在一起共同完成一个需求。

    若与
  • 浅谈ViewModel

    1 主要功能 Activity、Fragment存活期间的数据存储; bind同一Activity的多个Fragment间数据共享; 独立或与LiveData...

    QQ音乐技术团队
  • 浅谈 multiprocessing

    一前言 使用python进行并发处理多台机器/多个实例的时候,我们可以使用threading ,但是由于著名的GIL存在,实际上threading 并...

    用户1278550

扫码关注云+社区

领取腾讯云代金券