学习
实践
活动
专区
工具
TVP
写文章
专栏首页最新最全的大数据技术体系大数据物流项目:Kudu 入门使用(五)

大数据物流项目:Kudu 入门使用(五)

文章目录

Kudu 入门使用

01-[复习]-上次课程内容回顾

主要讲解:业务服务器部署数据库及数据实时采集、大数据服务器如何使用CM部署CDH架构。

  • 1)、物流系统Logistics:数据存储Oracle数据库中,使用OGG实时增量采集,发送到Topic中(JSON)
    • OGG 11g版本,实时性不是很高,有一定延迟性
  • 2)、客户关系管理系统CRM:数据存储在MySQL数据库,使用Canal实时增量采集,发送Topic中
    • Canal 1.1.x版本,支持直接发送Topic
    • 实时性很高
    • 1.1.4版本可以配置高可用集群,提供WEB 界面

此外,大数据服务器使用1台虚拟机进行安装部署,先安装CMServer,再使用CM安装部署CDH,伪分布式。

物流大数据项目来说,业务主要有三大类:
- 第一类、离线报表和即席查询:Kudu、SparkSQL、Impala和Hue
	- 离线报表
		Kudu表、SparkSQL(DSL)
	- 即席查询
		Kudu表、Impala和Hue(SQL)
		
- 第二类、实时大屏展示和数据服务接口
	- 实时大屏展示
		ClickHouse表、NodeJs和Vue
	- 数据服务接口
		ClickHouse表、SpringCloud应用

- 第三类、快递物流信息查询
	Elasticsearch分布式搜索引擎框架:index索引
	数据服务接口对外提供查询功能

02-[了解]-第5天:课程内容提纲

主要讲解:存储引擎Kudu,类似HBase数据库,由Cloudera公司开发,目的取代HDFS和HBase框架,

  • HDFS文件系统:批量加载分析,尤其parquet列式存储
  • HBase数据库:对海量数据随机读写,速度比较快
1、数据实时ETL流程
	选择结构化流StructuredStreaming实时消费Kafka数据,对数据进行ETL转换,存储外部系统
	
2、Kudu 入门使用
	1)、Kudu 为什么诞生,能够解决什么问题
	2)、SQL on Hadoop 框架发展史
		Kudu和Impala一对CP,Kudu存储数据,Impala 分析数据
	3)、Kudu 是什么应用场景
	4)、Kudu 架构设计和原理
	5)、Kudu 安装部署
		已经使用CM安装部署,启动及监控

03-[掌握]-数据实时ETL 处理流程图

​ 对于物流项目来说,如何对业务数据进行实时ETL存储。

  • 1)、将业务系统数据实时存储到分布式消息队列Kafka中
  • 2)、编写流式应用程序:StructuredStreaming结构化流,实时消费Kafka数据,进行ETL转换处理,最终存储到外部存储引擎(Es索引、Kudu数据库和ClickHouse数据库)。
    • 数据源Source:业务数据实时增量采集到Kafka Topic中,1个业务系统,对应1个Topic,不同业务系统Topic的分区数目不一样。
    • 数据转换ETL:消费Kafka中消息都是JSON格式字符串,需要进行解析转换处理
    • 数据终端Sink:将转换后数据存储到Kudu、ES及CK中,此时如何保存DataFrame到外部存储系统,像ES和Kudu框架自身提供与Spark集成库,直接使用接口;但是Clickhouse数据库没有提供,需要自己实现如何保存数据,与Spark集成。

面试题:为什么使用StructuredStreaming实时ETL,而不是SparkStreaming或者Flink呢?

  • 第一、StructuredStreaming 优势
    • Spark 2.0开始诞生新的针对结构化流式数据处理模块,取代SparkStreaming,底层重用SparkSQL中Catalyst分析引擎,进行更多优化,性能提升。
    • 此外,数据结构:DataFrame,更好知道内部结构,方便处理数据。Spark2.2发布Release版本,可以用于生产环境,Spark 2.3版本提供持续流处理。
    • 在设计之初保证端到端精确一次性语义功能。
      • Source数据源:偏移量offset、数据处理:WAL和Checkpoint、数据终端:支持幂等性
  • 第二、SparkStreaming 缺陷
    • 底层基于RDD数据结构进行数据处理,需要开发人员更好理解RDD,调用合适API方法,处理分析数据。某些流式数据处理功能不能实现,比如窗口分析是基于处理时间ProcessingTime;实时计算无状态,如果进行状态计算,需要自己管理状态,调用API(updateStateByKey或mapWithState)等。
    • SparkStreaming从2.0开始进入维护状态,一直没有新的功能,官方建议时用StructuredStreaming。
  • 第三、对比Flink计算引擎
    • 物流项目来说,对实时性要求不是很高,使用StructuredStreaming完全可以满足
    • Flink中流式计算使用DataStream API,比较底层,没有StructuredStreaming编程简单方便
    • Spark框架目前相当成熟稳定,很多外部存储系统都与Spark进行集成,比如Es和Kudu提供集成库,直接调用API就可以读写数据,进行分析处理保存。

04-[理解]-为什么使用Kudu(两大应用场景)

​ Kudu存储引擎诞生以后,在国内使用较早小米和网易公司,使用Kudu主要2大应用场景:

  • 1)、【数据库数据】上的快速分析
将原有业务数据(MySQL、Oracle数据库)实时同步到Kudu存储引擎,Kudu对外提供实时查询分析和数据变更操作。

  • 2)、【用户行为日志】的快速分析

在没有使用Kudu之前,为了满足业务需求,用户行为日志数据处理处理如下所示:

引入 Kudu 以后,大家看,数据的导入和查询都是在线实时的:

Kudu存储数据以后,可以快速查询分析(即席查询,与Impala集成)和报表分析(SparkSQL)。 Kudu诞生之初(设计目标)就是为取代HDFS文件系统和HBase数据库,既能够实现随机读写,又能够批量加载分析,所以Kudu属于HBase和HDFS折中产品。

05-[理解]-SQL on Hadoop 技术发展

​ 大数据技术框架中(领域中),SQL框架目前越来越多,从最开始Hive框架,到现在Flink SQL,至少10种以上框架出现,但是使用较多:Hive、Impala、Presto、SparkSQL、FlinkSQL(正在迅速发展)。

  • 1)、Hive 数仓框架,建立在HDFS和HBase之上,提供SQL分析数据
  • 2)、Impala 内存分析引擎,取代Hive底层MapReduce,使用内存分析数据

Cloudera公司依据Google论文:Dremel 论文,开发基于内存分析引擎Impala。

  • 3)、Impala集成Kudu,在快速数据之上建立快速分析

​ Cloudera公司,如果公司既要求对数据进行随机读写查询,又要对数据进行批量加载快速分析,需要将数据存储到HDFS(PARQUET)和HBase,能不能一个框架存储引擎实现2个功能:Kudu

​ Kudu和Impala都是使用C++语言编写,使用内存进行数据存储和分析,速度比较快的,很多金融公司、证券公司或游戏公司,都会使用此种大数据技术,进行存储数据和分析数据。

​ Kudu 在一个系统中融合了 OLTP 型随机读写能力与 OLAP 型分析能力,填补了 Hadoop存储层的缺憾,是 Hadoop 生态的一大生力军。

06-[理解]-Kudu 是什么及应用场景

Apache Kudu是由Cloudera开源的存储引擎,可以同时提供低延迟的随机读写高效的数据分析能力。

1、Kudu是一种非洲的大羚羊,中文名叫“捻角羚”;

2、Impala是另一种非洲的羚羊,叫做“黑斑羚”,也叫“高角羚”;

不知道Cloudera公司为什么这么喜欢羚羊,也许是因为羚羊的速度快。

在Kudu之前,大数据主要以两种方式存储:

如果对业务数据既需要随机读写,有需要批量加载快速分析,实现如下架构:

上述架构:数据冗余性比较大、技术框架复杂性比较高、数据实时性降低。 为了解决上述架构的这些问题,Kudu应运而生。Kudu的定位是Fast Analytics on Fast Data,是一个既支持随机读写、又支持 OLAP 分析的大数据存储引擎。

​ 从上图可以看出,KUDU 是一个折中的产品,在 HDFS 和 HBase 这两个偏科生中平衡了随机读写和批量分析的性能。 Kudu相比与以往的系统,CPU使用降低了,I/O的使用提高了,RAM的利用更充分了。

Kudu 应用场景:

07-[掌握]-Kudu 数据存储模型

​ KUDU 的数据模型与传统的关系型数据库类似:一个 KUDU 集群由多个表组成,每个表由多个字段组成,一个表必须指定一个由若干个(>=1)字段组成的主键

​ KUDU 表中的每个字段是强类型的,而不是 HBase 那样所有字段都认为是 bytes。好处是可以对不同类型数据进行不同的编码节省空间。同时,因为 KUDU 的使用场景是 OLAP 分析,有一个数据类型对下游的分析工具也更加友好。

  • 1)、Table表:Schema信息(字段名称和字段类型)、主键约束(PrimaryKey)
  • 2)、Tablet:表的一个数据片段,类似HBase中Region
    • 在Kudu中将表划分为多个Tablet,每个Tablet存储自己数据
    • Tablet 副本机制,1个副本为leader,其他副本为Follower,类似Kafka Topic中分区Partition。
    • 副本之间,基于Raft协议,实现高可用HA,当leader挂掉以后,从Follower中选取leader。
    • 副本数必须为奇数,例如为3个副本等

08-[掌握]-Kudu 分区策略及列式存储

​ 在Kudu存储引擎中,如何将一个表Table数据划分为多个Tablet???有哪些分区策略: 在Kudu中,每个表的分区Tablet需要在创建表的时候指定,表创建以后不能被修改。

  • 1)、范围分区:Range Partitioning,类似HBase表划分
    • 按照字段值范围进行分区,HBase 就采用了这种方式。

  • 2)、Hash Partitioning,按照字段的 Hash 值进行分区,Cassandra 采用了这个方式。

  • 3)、多级分区,可以指定范围,再指定哈希或者指定多个哈希分析

KUDU 支持用户对一个表指定一个范围分区规则和多个 Hash 分区规则,如下图:

多级散列分区组合,如下图所示:

KUDU 是一个列式存储的存储引擎,其数据存储方式如下:

列式存储的数据库很适合于 OLAP 场景,其特点如下:

09-[掌握]-Kudu 框架整体架构设计

KUDU 中存在两个角色:基于Raft协议实现一致性,所以不依赖Zookeeper

在 KUDU 中都可以设置特定数量(3 或 5)的副本。各副本间通过 Raft 协议来保证数据一致性。Raft 协议与 ZAB 类似,都是 Paxos 协议的工程简化版本。

  • 1)、Kudu Master通常3个节点,1个是leader,其余2个是Follower
  • 2)、表的每个Tablet副本通常3个副本,1个leader,其余2个时Follower,各个副本存储在不同TabletServer机器。

​ Tablet server 的任务非常繁重, 其负责和数据相关的所有操作, 包括存储, 访问, 压缩, 其还负责将数据复制到其它机器。 因为 Tablet server`特殊的结构, 其任务过于繁重, 所以有如下限制:

10-[掌握]-Kudu 服务启动及相关配置

​ 大数据所有技术框架都是安装在node2.itcastn.cn机器上,基于CM安装CDH组件,所以已经安装完成。

  • 2)、Kudu Master提供Web UI界面:http://node2.itcast.cn:8051/

  • 3)、Kudu配置文件:/etc/kudu/conf

  • 4)、Kudu 存储数据目录:/var/lib/kudu/master,/var/lib/kudu/tserver
  • 5)、Kudu 日志存储:/var/log/kudu/
[root@node2 ~]# ps -ef|grep kudu
kudu      2878  2865  1 11:53 ?        00:00:06 /opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/kudu/sbin/kudu-master --location_mapping_cmd=/var/run/cloudera-scm-agent/process/6-kudu-KUDU_MASTER/topology.py --flagfile=/var/run/cloudera-scm-agent/process/6-kudu-KUDU_MASTER/gflagfile
kudu      2879  2865  0 11:53 ?        00:00:00 /usr/bin/python2 /opt/cloudera/cm-agent/bin/cm redactor --fds 3 5
kudu      2890  2864  6 11:53 ?        00:00:26 /opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/kudu/sbin/kudu-tserver --tserver_master_addrs=node2.itcast.cn --flagfile=/var/run/cloudera-scm-agent/process/5-kudu-KUDU_TSERVER/gflagfile
kudu      2891  2864  0 11:53 ?        00:00:00 /usr/bin/python2 /opt/cloudera/cm-agent/bin/cm redactor --fds 3 5

Kudu Master还是Kudu TabletServer都有很多配置属性,可以进行配置:https://kudu.apache.org/docs/configuration.html

11-[掌握]-Kudu 使用方式及KuduPlus 工具

Kudu提供三种方式,操作Kudu数据库,进行DDL操作和DML操作:

  • 1)、方式一:可通过Java client、C++ client、Python client操作Kudu表,要构建Client并编写应用程序;
    • https://kudu.apache.org/docs/developing.html#developing-applications-with-apache-kudu
  • 2)、方式二:可通过Impala的shell对Kudu表进行交互式的操作,因为Impala2.8及以上的版本已经集成了对Kudu的操作。
    • 直接定义Impala表数据存储在Kudu中,内部集成
  • 3)、方式三:通过Kudu-Spark包集成Kudu与Spark,并编写Spark应用程序来操作Kudu表
    • KuduContext,类似SparkContext,进行DDL操作和DML操作
    • SparkSession操作Kudu表数据,CRUD操作

无论是Java Client API使用,还是Kudu集成Spark使用,添加Maven 依赖:

<dependency>
  <groupId>org.apache.kudu</groupId>
  <artifactId>kudu-client</artifactId>
  <version>1.9.0-cdh6.2.1</version>
</dependency>

<dependency>
  <groupId>org.apache.kudu</groupId>
  <artifactId>kudu-spark_2.11</artifactId>
  <version>1.9.0-cdh6.2.1</version>
</dependency>

Kudu 框架本身提供命令kudu管理Kudu集群,位于$KUDU_HOME/bin目录

​ KUDU Client 在与服务端交互时,先从 Master Server 获取元数据信息,然后去 Tablet Server读写数据,如下图:

伟大网友提供KuduPlus工具,可视化工具,连接KuduMaster,创建表、删除表查询数据

Kudu-Plus一款针对Kudu可视化工具,GitHub地址:https://github.com/Xchunguang/kudu-plus

KuduPlus直接点击exe文件安装,启动工具,创建连接,设置KuduMaster地址:node2.itcast.cn:7051

本文参与 腾讯云自媒体分享计划 ,欢迎热爱写作的你一起参与!
本文分享自作者个人站点/博客:https://blog.csdn.net/xianyu120复制
如有侵权,请联系 cloudcommunity@tencent.com 删除。
登录 后参与评论
0 条评论

相关文章

  • 客快物流大数据项目(四十一):Kudu入门介绍

    从上面分析可知,这两种数据在存储方式上完全不同,进而导致使用场景完全不同,但在真实的场景中,边界可能没有那么清晰,面对既需要随机读写,又需要批量分析的大数据场景...

    Lansonli
  • 客快物流大数据项目(七十五):使用impala创建kudu表

    1、使用该impala-shell命令启动Impala Shell。默认情况下,impala-shell 尝试连接到localhost端口21000 上的Imp...

    Lansonli
  • 客快物流大数据项目(四十六):Spark操作Kudu dataFrame操作kudu

    虽然我们可以通过上面显示的KuduContext执行大量操作,但我们还可以直接从默认数据源本身调用读/写API。要设置读取,我们需要为Kudu表指定选项,命名我...

    Lansonli
  • 客快物流大数据项目(八十一): Kudu原理

    Kudu设计是面向结构化存储的,因此Kudu的表需要用户在建表时定义它的Schema信息,这些Schema信息包含:

    Lansonli
  • 客快物流大数据项目(七十六):使用Impala对kudu进行DML操作

    Lansonli
  • 客快物流大数据项目(八十三):Kudu的优化

    TabletServer 在开始拒绝所有传入的写入之前可以消耗的最大内存量:memory_limit_h

    Lansonli
  • 客快物流大数据项目(七十九):Impala映射kudu表

    Lansonli
  • 客快物流大数据项目(七十七):使用Impala对kudu更改表属性操作

    开发人员可以通过更改表的属性来更改 Impala 与给定 Kudu 表相关的元数据。这些属性包括表名, Kudu 主地址列表,以及表是否由 Impala (内部...

    Lansonli
  • 客快物流大数据项目(四十二):Java代码操作Kudu

    Lansonli
  • 客快物流大数据项目(四十三):kudu的分区方式

    为了提供可扩展性,Kudu 表被划分为称为 tablets 的单元,并分布在许多 tablet servers 上。行总是属于单个tablet 。将行分配给 t...

    Lansonli
  • 客快物流大数据项目(八十二):Kudu的读写原理

    更新删除流程与写入流程类似,区别就是最后判断是否存在主键时候的操作,若存在才能更新,不存在才能插入新数据。

    Lansonli
  • 客快物流大数据项目(四十八):Spark操作Kudu 修改表

    Lansonli
  • 客快物流大数据项目(四十四):Spark操作Kudu创建表

    定义表时要注意的是Kudu表选项值。你会注意到在指定组成范围分区列的列名列表时我们调用“asJava”方 法。这是因为在这里,我们调用了Kudu Java客户端...

    Lansonli
  • 客快物流大数据项目(四十五):Spark操作Kudu DML操作

    Kudu支持许多DML类型的操作,其中一些操作包含在Spark on Kudu集成. 包括:

    Lansonli
  • 客快物流大数据项目(四十七):Spark操作Kudu Native RDD

    Lansonli
  • 客快物流大数据项目(五):Docker介绍

    在计算机中,虚拟化(英语:Virtualization)是一种资源管理技术,是将计算机的各种实体资源,如:服务器、网络、内存、存储等等,予以抽象、转换后呈现出来...

    Lansonli
  • 客快物流大数据项目(五十七):创建Kudu-ETL流式计算程序

    Lansonli
  • 客快物流大数据项目(六十一):将消费的kafka数据同步到Kudu中

    已经将kafka消费的数据转换成了OggMessageBean或者CanalMessageBean对象,每条数据对应着某张表的操作记录。

    Lansonli
  • 如何入门AI?五大新手项目奉上

    人工智能风头正盛,无论你是支持还是怀疑,AI对这个时代的影响都已逐渐渗透到各行各业当中,哪怕身处非互联网行业,也能感受到AI的滚滚浪潮。

    量子位

扫码关注腾讯云开发者

领取腾讯云代金券