前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >大数据存储HDFS详解

大数据存储HDFS详解

作者头像
凹谷
发布2020-04-11 10:36:27
1.9K0
发布2020-04-11 10:36:27
举报
文章被收录于专栏:大数据与微服务架构

与其在等待中枯萎,不如在行动中绽放。

一、数据序列化框架:

FaceBook Thrift:具体序列化和RPC两个功能。

Google Protocol Buffers(ProtoBuf):只有序列化功能,不具备RPC功能。

Apache Avro:具体序列化和RPC两个功能。

二、序列化框架对比:

解析速度 时间由小到大:protobuf、thrift、Avro

序列化大小,由小到大:avro、protobuf、thrift

三、文件存储格式:

常见存储格式包括行式存储(文本格式Text File、Key/Value二进制存储格式Sequence File)和列式存储(ORC、Parquet、Carbon Data)

列式存储对比:ORC通常作为数据表的数据格式应用在hive和presto等计算引擎中,它们对ORC读写进行了优化,而Parquet提供了非常易用的读写API,用户可在应用程序(eg:spark、MapReduce等分布式程序)中直接读写Parquet格式的文件,而Carbon Data在索引和数据更新方面有良好支撑,可用在多维OLAP分析场景中。

四、分布式文件系统

分为文件级别的分布式系统和块级别的分布式系统。

文件级别的分布式系统:不足之处是难以负载均衡、难以并行处理

块级别的分布式系统:将文件分为等大的数据块(eg:128M),并以数据块为单位存储到不同节点上,进而解决文件级别的分布式系统存在的负载均衡和并行处理问题,HDFS即是块级别的分布式文件系统。

五、HDFS基本架构:NameNode、DataNode、Client

HDFS关键技术:容错性设计、副本放置策略、异构存储介质(ARCHIVE:高存储密度但耗电较少的存储介质,DISK:磁盘介质,这是HDFS默认存储介质,SSD:固态硬盘,RAM_DISK:数据被写入内存中,同时会往改存储介质中异步一份)、集中式缓存管理(HDFS允许用户将一部分目录或文件缓存在off-heap内存中)

六、HDFS访问方式:

1、HDFS shell命名:分为用户命令和管理员命令

用户命令:常用的有文件操作命令dfs(eg:创建、上传、删掉文件)、文件一致性检查命令fsck(eg:查看文件块信息)、分布式文件复制命令distcp(集群内文件或者集群间文件并行复制)。

管理命令:对服务生命周期管理,eg:启动、关闭NameNode/DataNode、限制目录使用空间大小。

2、HDFS API:HDFS对外提供了丰富的编程API,允许用户使用java以及其他编程语言编写应用程序访问HDFS。

3、数据收集组件:Flume(提供的sink hdfs 能够直接将收集到的数据写入HDFS)、Sqoop(允许用户指定数据写入HDFS的目录,文件格式支持Text、SequenceFile两种格式,压缩方式支持LZO、Snappy等主流压缩编码)

4、计算引擎方式:SQL方式,Hive、Impala及Presto等查询引擎均允许用户直接使用SQL访问HDFS中的存储文件。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-11-29,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 大数据与微服务架构 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
文件存储
文件存储(Cloud File Storage,CFS)为您提供安全可靠、可扩展的共享文件存储服务。文件存储可与腾讯云服务器、容器服务、批量计算等服务搭配使用,为多个计算节点提供容量和性能可弹性扩展的高性能共享存储。腾讯云文件存储的管理界面简单、易使用,可实现对现有应用的无缝集成;按实际用量付费,为您节约成本,简化 IT 运维工作。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档