首页
学习
活动
专区
工具
TVP
发布

#hadoop

Apache Hadoop是一款支持数据密集型分布式应用程序并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。

virtual导入hadoop集群

h3110_w0r1d

8210

Hadoop完全分布式搭建

h3110_w0r1d

*通过共享文件夹的方式将j**d**k的安装包放在ma**ster**节点的/**root/downloads**文件夹下*

13810

Hadoop的HDFS操作

h3110_w0r1d

在本地创建目录 /home/marry ,并在该目录下创建三个空文件,文件名分别为1.txt,2.txt,3.txt

8610

Hadoop学习:深入解析MapReduce的大数据魔力之数据压缩(四)

老虎也淘气

压缩方式选择时重点考虑:压缩/解压缩速度、压缩率(压缩后存储大小)、压缩后是否 可以支持切片。

11610

Hadoop学习:深入解析MapReduce的大数据魔力(三)

老虎也淘气

(1)Read阶段:MapTask通过InputFormat获得的RecordReader,从输入InputSplit中解析出一个个key/value。

7810

Hadoop学习:深入解析MapReduce的大数据魔力(二)

老虎也淘气

1、问题引出 要求将统计结果按照条件输出到不同文件中(分区)。比如:将统计结果按照手机 归属地不同省份输出到不同文件中(分区) 2、默认Partition...

7210

Hadoop学习:深入解析MapReduce的大数据魔力(一)

老虎也淘气

在大数据时代,高效地处理海量数据成为了各行各业的迫切需求。Hadoop作为一种重要的大数据处理框架,其核心概念之一就是MapReduce。今天开始将深入了解Ma...

6710

Hadoop学习指南:探索大数据时代的重要组成——HDFS(下)

老虎也淘气

(1)客户端通过Distributed FileSystem 模块向NameNode 请求上传文件,NameNode检查目标文件是否已存在,父目录是否存在。...

11910

Hadoop学习指南:探索大数据时代的重要组成——HDFS(上)

老虎也淘气

随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是...

7710

Hadoop学习指南:探索大数据时代的重要组成——Hadoop运行模式(下)

老虎也淘气

日志聚集功能好处:可以方便的查看到程序运行详情,方便开发调试。 ==注意:开启日志聚集功能,需要重新启动 NodeManager 、ResourceMan...

9210

Hadoop学习指南:探索大数据时代的重要组成——Hadoop运行模式(上)

老虎也淘气

1)Hadoop 官方网站:http://hadoop.apache.org/ 2)Hadoop 运行模式包括:本地模式、伪分布式模式以及完全分布式模式。 ...

7810

Hadoop学习指南:探索大数据时代的重要组成——运行环境搭建

老虎也淘气

注:Extra Packages for Enterprise Linux 是为“红帽系”的操作系统提供额外的软件包, 适用于RHEL、CentOS 和 Sc...

7610

Hadoop学习指南:探索大数据时代的重要组成——Hadoop概述

老虎也淘气

在当今大数据时代,处理海量数据成为了一项关键任务。Hadoop作为一种开源的分布式计算框架,为大规模数据处理和存储提供了强大的解决方案。本文将介绍Hadoop的...

9610

我攻克的技术难题 - 如何快速搭建Hadoop3集群

叫我阿柒啊

距离唯一一次搭建Hadoop集群,已是六年有余。那时候大数据的学习资料还是我从某宝25买来的,如今大数据已遍地开花。最近想写一些关于大数据的东西,例如Spark...

30641

Shell遍历HDFS路径统计层级目录大小

857技术社区

8410

Hue安装

数据仓库晨曦

修改配置前,停掉hadoop集群和hiveserver2,配置完成之后,重启hadoop集群会自动改为安全模型,需要手动离开安全模式。

8010

环境搭建-hadoop安装

数据仓库晨曦

有三台云服务,系统centOS7.6,为了能够尽可能“分布”一下,所以三台机器都作为计算节点,master机器担任NameNode节点,兼任一个DataNode...

10310

HBase搭建单机版

CBeann

4.1)删除 /opt/module/hbase-1.3.1/lib 下 hadoop-* 和zookeeper .jar :为了和自己安装的ha...

12210
领券