腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

叁金大数据

专栏作者

42

文章

43896

阅读量

16

订阅数

Hadoop的数据采集框架

hadoop 分布式存储数据分析 apache

问题导读： Hadoop数据采集框架都有哪些？ Hadoop数据采集框架异同及适用场景？

2018-10-09

1.8K0

漫谈未来的HDFS

前面我们提到的HDFS，了解了HDFS的特性和架构。HDFS能够存储TB甚至PB规模的数据是有前提的，首先数据要以大文件为主，其次NameNode的内存要足够大。对HDFS有所了解的同学肯定都知道，NameNode是HDFS的存储着整个集群的元数据信息，比如所有文件和目录信息等等。而且当元数据信息较多时，NameNode的启动会变得很慢，也比较容易触发GC操作。显然当数据到了一定的量级，元数据管理会成为HDFS的一个瓶颈，其实这也是为什么说它适合存储大文件的原因。如果解决了元数据管理的问题，其实HDFS是可以支撑海量小文件的。

2018-09-04

5240

不讲CRUSH的Ceph教程是不完整的

前面我们提到了Ceph是一个支持统一存储架构的分布式存储服务。简单介绍了Ceph的基本概念和基础架构包含的组件，其中最重要的就是底层的RADOS和它的两类守护进程OSD and Monitor。上篇文章我们还挖了一个坑，我们提到了CRUSH。

2018-09-04

1.7K0

Ceph在手，天下我有

有人问我，你是如何做到统一存储的？我微微一笑，大声告诉他：Ceph在手，天下我有。

2018-09-04

6150

Hadoop基础（二）

大数据存储

我们知道在HDFS中我们的文件按数据块进行存储，那么当我们写入或者读取一个文件的时候HDFS到底进行了哪些操作呢？

2018-09-04

2310

存储是怎样炼成的？

什么FAT,NTFS,NFS,DAS,SAN,NAS,OSD这些名词我一个都不认识。

2018-09-04

9400

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态