首页
学习
活动
专区
圈层
工具
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

#hdfs

【愚公系列】2024年02月 大数据教学课程 022-Hadoop的HDFS

愚公搬代码

在 Hadoop1 当中, 文件的 block 块默认大小是 64M, hadoop2 当中, 文件的 block 块大小默认是 128M, block 块的大...

8900

【java报错已解决】org.apache.hadoop.hdfs.protocol.QuotaExceededException

鸽芷咕

在Java开发涉及到大数据处理领域,尤其是使用Apache Hadoop框架时,经常会与Hadoop分布式文件系统(HDFS)打交道。然而,在这个过程中,开发者...

9010

【赵渝强老师】HBase的逻辑存储结构

赵渝强老师

HBase的逻辑存储结构主要包括:命名空间(NameSpace)、表(Table)和列族(Column Family)。视频讲解如下:

9410

大数据知识总结(一):Hadoop之HDFS重点架构原理

Lansonli

分布式系统基础架构,旨在解决海量数据存储和计算分析问题,核心组件:HDFS + MapReduce + Yarn。

17610

Apache Hadoop HDFS 架构

jack.yang

HDFS(Hadoop Distributed File System)是Hadoop核心组成之一,是分布式计算中数据存储管理的基础,被设计成适合运行在通用硬件...

14510

HDFS元信息管理的核心技术与实现

童子龙

HDFS(Hadoop Distributed File System)是大数据领域中一种核心分布式文件系统,以高可靠性和高扩展性为特点,为海量数据存储提供了高...

23420

【赵渝强老师】史上最详细:Hadoop HDFS的体系架构

赵渝强老师

在Hadoop HDFS的体系架构中,包含了三个组成部分。它们分别是:NameNode、DataNode和SecondaryNameNode。下图摘至Hadoo...

14810

Flink自研新特性:yarn-session集群WebUI支持Jar持久化到HDFS实践总结

用户9421738

通过web上传Jar,实际存储路径由参数web.upload.dir控制,从参数描述看这里只能使用本地目录。尝试配置成hdfs路径,JobManager报错,果...

11410

【大数据技术基础 | 实验四】HDFS实验:读写HDFS文件

Francek Chen

这里采用一键搭建的方式,将HDFS部署完成并启动Hadoop集群(包括hdfs和yarn),使用jps命令查看进程:

14400

【大数据技术基础 | 实验三】HDFS实验:部署HDFS

Francek Chen

分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连。该系统架...

27000

【大数据技术基础 | 实验九】Flume实验:文件数据Flume至HDFS

Francek Chen

Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同...

28210

Flume实时读取本地/目录文件到HDFS

Francek Chen

Flume 要想将数据输出到 HDFS,必须持有 Hadoop 相关 jar 包。

23700

大数据存储技术(2)—— HDFS分布式文件系统

Francek Chen

1、产生背景 随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系...

26210

HDFS-图书馆

GeekLiHua

腾讯 | 业务安全工程师 (已认证)

HDFS是Hadoop Distributed File System的简称,是一个分布式文件系统,它能在普通的硬件上运行并提供高吞吐量。你可以把HDFS想象成...

12300

HDFS的数据写入流程是怎样的?请描述数据写入的过程。

GeekLiHua

腾讯 | 业务安全工程师 (已认证)

下面是一个简单的Java代码示例,演示了如何使用HDFS的API进行数据写入操作:

14310

什么是HDFS?请解释其架构和工作原理。

GeekLiHua

腾讯 | 业务安全工程师 (已认证)

HDFS(Hadoop Distributed File System)是Apache Hadoop生态系统中的一个关键组件,用于存储和处理大规模数据集。它是一...

8700

HDFS的主要特点是什么?为什么它适合处理大规模数据集?

GeekLiHua

腾讯 | 业务安全工程师 (已认证)

HDFS(Hadoop Distributed File System)是Hadoop生态系统中的分布式文件系统,被设计用于存储和处理大规模数据集。下面我将详细...

21910

HDFS的数据冗余存储是如何实现的?它如何提供容错性和高可靠性?

GeekLiHua

腾讯 | 业务安全工程师 (已认证)

HDFS(Hadoop分布式文件系统)是一个用于存储和处理大规模数据的分布式文件系统。它通过数据冗余存储来提供容错性和高可靠性。

17410

HDFS中的NameNode和DataNode的作用是什么?它们之间的通信方式是什么?

GeekLiHua

腾讯 | 业务安全工程师 (已认证)

在HDFS(Hadoop分布式文件系统)中,NameNode和DataNode是两个关键的组件,它们分别承担着不同的角色和功能。下面我将以一个面试者的身份,结合...

23110
领券