首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

#hadoop

Apache Hadoop是一款支持数据密集型分布式应用程序并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。

【赵渝强老师】基于ZooKeeper实现Hadoop HA

赵渝强老师

京东大学 · 大数据学院院长 (已认证)

由于在HA架构中包含的节点比较多,在进行实际部署的时候需要做好集群的规划。图14.9一共使用了4个节点来部署HDFS HA,它们分别是:bigdata112、b...

4610

建立单机版的hive

顾翔

安装后的hadoop默认为单机配置,无需其他配置即可运行。使用hadoop自带的单词统计的例子体验以下:

14110

【Java】已解决:org.apache.hadoop.hdfs.protocol.QuotaExceededException

屿小夏

已解决:org.apache.hadoop.hdfs.protocol.QuotaExceededException

7610

​【赵渝强老师】大数据主从架构的单点故障

赵渝强老师

京东大学 · 大数据学院院长 (已认证)

大数据体系架构中的核心组件都是主从架构,即:存在一个主节点和多个从节点,从而组成一个分布式环境。下图为展示了大数据体系中主从架构的相关组件。

8500

【赵渝强老师】大数据生态圈中的组件

赵渝强老师

京东大学 · 大数据学院院长 (已认证)

大数据体系架构中的组件非常多,每个组件又属于不同的生态圈系统。从最早的Hadoop生态圈体系开始,逐步有了Spark生态圈体系和Flink生态圈体系。因此在学习...

12410

【赵渝强老师】大数据技术的理论基础

赵渝强老师

京东大学 · 大数据学院院长 (已认证)

大数据平台所要解决的问题是数据的存储和数据的计算,其核心思想采用的是分布式集群的思想。另一方面,分布式集群的思想在Google的技术系统中得到了很好的应用。因此...

15510

Hadoop 认证模块详解

zeekling

华为 · 大数据开发工程师 (已认证)

客户端的入口函数为 KerberosAuthenticator.authenticate函数

15020

【赵渝强老师】基于RBF的HDFS联邦架构

赵渝强老师

京东大学 · 大数据学院院长 (已认证)

在最新的Hadoop版本中又实现了基于Router的联盟架构,并且在这个架构之上还实现了许多增强集群管理能力的特性。Router将挂载表从客户端中抽离了出来,解...

15610

【赵渝强老师】Hive的体系架构

赵渝强老师

京东大学 · 大数据学院院长 (已认证)

在Hadoop体系中提供数据分析引擎Hive。它允许使用SQL语句来分析处理数据,而不需要编程复杂的Java程序。同时Hive提供了丰富的数据模型来创建各种表结...

12710

【赵渝强老师】HDFS数据上传和下载的过程

赵渝强老师

京东大学 · 大数据学院院长 (已认证)

在Hadoop的HDFS中客户端的操作请求,无论是上传数据或者下载数据都是由NameNode负责接收和处理。最终将数据按照数据块的形式保存到数据节点DataNo...

16710

【赵渝强老师】部署Hadoop本地模式

赵渝强老师

京东大学 · 大数据学院院长 (已认证)

为了方便操作Hadoop,需要设置HADOOP_HOME的环境变量,并把bin和sbin目录加入系统的PATH路径中。下面列举了具体的步骤。

11010

【赵渝强老师】Hadoop生态圈组件

赵渝强老师

京东大学 · 大数据学院院长 (已认证)

它的全称是Hadoop Distributed File System,它是Hadoop分布式文件系统,用于解决大数据的存储问题。HDFS源自于Google的G...

10810

【赵渝强老师】Yarn的资源调度策略

赵渝强老师

京东大学 · 大数据学院院长 (已认证)

Yarn作为一个资源和任务调度的平台,在实际应用中往往不止一个应用程序运行在Yarn之上,例如:在Yarn上同时运着MapReduce任务、Spark任务和Fl...

7110

ContainerManager详解

zeekling

华为 · 大数据开发工程师 (已认证)

ContainerManager主要负责NM中管理所有Container生命周期,其主要包含启动Container、恢复Container、停止Containe...

15020

电商数仓6.0组件之虚拟机搭建Hadoop3.X

弟大翻着洗

Hadoop 是一个开源的框架,主要用于处理海量数据。它能在分布式环境中存储和处理数据,具有高容错性、可扩展性和高性能等优点。Hadoop 可以处理结构化、半结...

6820

【七】Hadoop3.3.4基于ubuntu24的分布式集群安装

火之高兴

访问apche官网源,下载3.3.4版本,我们用二进制通用版即可,因为hadoop运行在java环境,跨平台性使得无需编译arm架构版本。Hadoop 3.3....

10810

【九】Hadoop3.3.4HA高可用配置

火之高兴

当前高可用在以下三台节点组成的hadoop3.3.4集群中进行配置,当前已经完成了集群安装,hdfs的验证,并且zookeeper组件已经安装完成。

10010

【八】Zookeeper3.7.1集成Hadoop3.3.4集群安装

火之高兴

ZooKeeper 是一个分布式协调服务,用于分布式系统中管理配置信息、命名、同步和集群服务。它提供了一种简单的接口来访问存储在其文件系统中的数据,同时为复杂的...

9110

【建议收藏】大数据Hadoop实战入门手册,配套B站视频教程1小时速通

十里桃花舞丶

下载文件到本地,需要先将hadoop.dll文件拷贝到c:\windows\system32目录中,否则会报错java.io.IOException: (nul...

24710

【七】Hadoop3.3.4基于ubuntu24的分布式集群安装

火之高兴

访问apche官网源,下载3.3.4版本,我们用二进制通用版即可,因为hadoop运行在java环境,跨平台性使得无需编译arm架构版本。Hadoop 3.3....

11510
领券