parquet 文件解析
原创
parquet 文件解析,希望可以给大家打来帮助
首先parquet 分为数据区域和索引区域, 如图,至于 索引区域为何放到文件末尾大家可以思考下
数据区域由1个或者n个RowGroup组成, 每个RowGroup 按列存储, 每列按照Page大小存放
索引区域由PageIndex,FileMetadata两级索引, FileMetadata可以理解为文件级别的索引, PageIndex 可以理解为Page 级别的索引,即更细粒度一些; FileMetada 即为RowGroup粗粒度的索引,由ColumnChunk组织,即每列的索引; PageIndex 分为ColumIndex和OffsetIndex ,都是Page级别的, 如下图所示;
Parquet file
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
评论
登录后参与评论
推荐阅读
相关产品与服务
数据库
云数据库为企业提供了完善的关系型数据库、非关系型数据库、分析型数据库和数据库生态工具。您可以通过产品选择和组合搭建，轻松实现高可靠、高可用性、高性能等数据库需求。云数据库服务也可大幅减少您的运维工作量，更专注于业务发展，让企业一站式享受数据上云及分布式架构的技术红利！
腾讯云开发者
