大数据 分布式文件系统 HDFS概念
大数据 分布式文件系统 HDFS概念
路过君
发布于 2020-07-02 09:39:39
发布于 2020-07-02 09:39:39
HDFS Hadoop Distributed File System
关键词
高度容错 高吞吐量 流式数据访问
前提与目标
前提 | 目标 |
|---|---|
大规模分布式系统硬件错误是常态 | 错误检测和快速、自动恢复实现高容错 |
应用更关注数据批量处理，而非用户交互处理 | 提高批量读取吞吐量，而非降低随机读取延迟 |
应用具有很大的数据集，文件大小在G-T字节 | 通过横向扩展集群节点，提高整体数据传输带宽 |
假定应用满足“一次写入多次读取”的文件访问模型 | 数据一致性 |
移动计算比移动数据更划算 | 将计算移动到数据附近，降低拷贝数据产生的网络阻塞 |
异构软硬件平台 | 可移植性 |
缺点
- 不适合低延迟数据访问
- 不适合大量小文件存储
- 不支持并发写入
- 不支持文件随机修改
架构
在这里插入图片描述
- Namenode 中心服务器，负责管理文件系统命名空间，客户端访问，管理数据块到Datanode的映射。
- Datanode 一般一个机器上运行一个数据节点实例，负责处理客户端读写请求，接受Namenode调度进行数据块操作。
- Metadata 元数据，保存文件系统中所有目录和文件信息
- Block 数据块，最小存储单元，大小固定(默认128m)，默认3个副本
本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2020-07-01 ，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读