温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
本节课我们来讨论一下h base数据文件h file的存储格式。先了解一下h base的基本知识。H base是基于谷歌的big table思想而实现了一个lo西数据库,它属于哈多普生态圈体系。H base的存储结构分为逻辑存储结构和物理存储结构。HP通过逻辑存储结构来管理物理存储结构。由于HP是基于HDFS之上,因此HP表中的数据最终都将以HR的形式存储在HDFS中。这里重点讨论一下HS数据文件HR的存储格式,这里展示了一个HR内部的结构,下面介绍一下每个组成部分的作用。Data塔块保存了表中的k value数据,并且这部分可以被压缩,Meta块保存了用户自定义的k value数据,与data块一样也可以被压缩,但区别是me块不是必须存在file in for块存储了h file的原信息,且不能被压缩。
01:00
Data index块包含了data塔块的索引信息,Meal index块包含了meal块的索引信息,China块保存了以上各个块的偏移量地址。当读取一个HR的数据时,H base会首先读取China中的信息,以确定每一个块的位置。现在你已经知道h base数据文件HR的存储格式了,那你知道h base物理存储结构中其他文件的功能和作用啊?欢迎评论区语言讨论好了,记得点加号关注赵玉强老师。
我来说两句