前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >HDFS系列(2) | HDFS优缺点分析

HDFS系列(2) | HDFS优缺点分析

作者头像
不温卜火
发布2020-10-28 15:35:36
9150
发布2020-10-28 15:35:36
举报
文章被收录于专栏:不温卜火

因为在上期的分享中,大家看到的更多是HDFS的底层原理,内部结构,并没有谈到其自身优势和劣势的一个比较!因此,本次博主为大家带来的就是对HDFS的优缺点进行分析。

一. HDFS的优点

1. 高容错性

  • 1. 数据自动保存多个副本。它通过增加副本的形式,提高容错性。
1
1
  • 2. 某一个副本丢失以后,它可以自动恢复
2
2

2. 适合处理大数据

  • 1. 数据规模:能够处理数据规模达到GB、TB、甚至PB级别的数据
  • 2. 文件规模:能够处理百万规模以上的文件数量,数量相当之大

3. 实用性强

  • 可构建在廉价机器上,通过多副本机制,提高可靠性

二. HDFS的缺点

1. 不适合低延时数据访问

  • 比如说毫秒级的存储数据,是做不到的。

2. 无法高效的对大量小文件进行存储

  • 1. 存储大量小文件的话,它会占用NameNode大量的内存来存储文件
  • 2. 小文件存储的寻址时间会超过读取时间,它违反了HDFS的设计目标

3. 不支持并发写入、文件随机修改

  • 1. 一个文件只能有一个写,不允许多个线程同时写
3
3
  • 2. 仅支持数据append(追加),不支持文件的随机修改

本次的分享就到这里了,小伙伴们有什么疑惑或好的建议可以积极在评论区留言,博主会在后续继续推出HDFS系列的其他内容,希望大家持续关注博主!!!

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2020/04/23 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 一. HDFS的优点
    • 1. 高容错性
      • 2. 适合处理大数据
        • 3. 实用性强
        • 二. HDFS的缺点
          • 1. 不适合低延时数据访问
            • 2. 无法高效的对大量小文件进行存储
              • 3. 不支持并发写入、文件随机修改
              相关产品与服务
              大数据
              全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
              领券
              问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档