十里桃花舞丶

LV0

发表了文章 2021-09-102021-09-10 11:26:01

【MapReduce】作业调试

因为yarn集群重启之后，作业的历史运行日志和信息就被清理掉了，对于定位历史任务的错误信息很不友好，所以首先开启History Server用于保存所有作业的历...

十里桃花舞丶 2021-09-102021-09-10 11:26:01

发表了文章 2021-09-102021-09-10 11:25:46

【MapReduce】案例学习

所以在数据中，只需要关注IP地址。提取到IP地址之后，其实就是在做wordcount词频统计了。此案例较为简单，可以作为巩固练手项目。在wordcount基础之...

十里桃花舞丶 2021-09-102021-09-10 11:25:46

发表了文章 2021-09-102021-09-10 11:25:33

【MapReduce】IDE环境开发

在开发过程中，使用IDE集成环境进行代码开发和测试，是最为便捷的。接下来讲解下如何使用IDEA进行MapReduce代码的开发。

十里桃花舞丶 2021-09-102021-09-10 11:25:33

发表了文章 2021-09-102021-09-10 11:25:19

【MapReduce】基本使用

MapReduce 框架只对 <key, value> 形式的键值对进行处理。MapReduce会将任务的输入当成一组 <key, value> 键值对，最后也...

十里桃花舞丶 2021-09-102021-09-10 11:25:19

发表了文章 2021-09-102021-09-10 11:25:10

【MapReduce】配置&作业管理

mapreduce的配置文件为：mapred-site.xml。配置内容分为配置MapReduce运行程序、配置History-Server。

十里桃花舞丶 2021-09-102021-09-10 11:25:10

发表了文章 2021-09-102021-09-10 11:24:53

【MapReduce】基本原理

首先以词频统计的案例，来描述一下MapReduce的运算原理与一些基本的概念。这里输入的数据是一些英文的文章，它有很多行组成，而每一行又包含很多单词，每个单词之...

十里桃花舞丶 2021-09-102021-09-10 11:24:53

发表了文章 2021-09-102021-09-10 11:20:18

【MapReduce】分布式计算框架MapReduce

MapReduce起源是2004年10月Google发表了MapReduce论文，之后由Mike Cafarella在Nutch（爬虫项目）中实现了MapRed...

十里桃花舞丶 2021-09-102021-09-10 11:20:18

发表了文章 2021-09-102021-09-10 11:20:06

【Yarn】基本使用与监控

Yarn是一个资源管理框架，所以它可以对提交到集群中的任务进行查看，并可以强制结束这些任务。

十里桃花舞丶 2021-09-102021-09-10 11:20:06

发表了文章 2021-09-102021-09-10 11:19:55

历时三个月，游乐场优雅的干掉了我的环境搭建恐惧症

你能想象，在一套刚装好的centos集群中，2分钟之内快速完成一整个集群完成初始化工作吗？

十里桃花舞丶 2021-09-102021-09-10 11:19:55

发表了文章 2021-09-102021-09-10 11:19:33

【Yarn】资源调度策略

Yarn既然是一个分布式资源调度框架，管理着节点上的计算资源，那它分配这些资源的时候，便会存在调度策略。

十里桃花舞丶 2021-09-102021-09-10 11:19:33

发表了文章 2021-09-102021-09-10 11:19:22

【Yarn】系统架构&高可用

Yarn在架构上是主从架构，其中Resource Manager是主节点，Node Manager是从节点。在架构部署上，Node Manager与HDFS的D...

十里桃花舞丶 2021-09-102021-09-10 11:19:22

发表了文章 2021-09-102021-09-10 11:19:11

【Yarn】分布式资源管理框架Yarn

在Hadoop 1.x中，是没有Yarn这个分布式资源管理框架的，它在Hadoop 2.x中首次推出。它诞生的原因其实很简单，就是Hadoop 1.x中的架构存...

十里桃花舞丶 2021-09-102021-09-10 11:19:11

发表了文章 2021-09-102021-09-10 11:18:59

【HDFS】管理与运维

通过50070端口，可以访问HDFS Web UI：http://activeNameNodeHost:50070，需将activeNameNodeHost自行...

十里桃花舞丶 2021-09-102021-09-10 11:18:59

发表了文章 2021-09-102021-09-10 11:18:44

【HDFS】Java_API使用

首先完成Java开发环境准备，创建工程并导入开发所需的Jar包。之后在准备好的工程中完成以下步骤。

十里桃花舞丶 2021-09-102021-09-10 11:18:44

发表了文章 2021-09-102021-09-10 11:18:07

【HDFS】服务启动&Shell命令

因为脚本执行过程中，已经自动将Hadoop环境变量和节点间SSH免密登录配置好了，所以直接执行start-dfs.sh便可以直接启动HDFS集群（同时会启动Ya...

十里桃花舞丶 2021-09-102021-09-10 11:18:07

发表了文章 2021-09-102021-09-10 11:17:54

【HDFS】环境搭建与基本配置

使用3台虚拟机来进行搭建集群，分别为Node01、Node02、Node03。集群的规划如下：

十里桃花舞丶 2021-09-102021-09-10 11:17:54

发表了文章 2021-09-102021-09-10 11:17:38

【HDFS】集群高可用

HDFS单点架构存在一些问题，首先是NameNode内存受限，因为数据的元数据信息全部保存在NameNode内存中。如果数据量足够庞大，可能会将NameNode...

十里桃花舞丶 2021-09-102021-09-10 11:17:38

发表了文章 2021-09-102021-09-10 11:17:24

【HDFS】读写机制与安全模式

在向NameNode写文件时，首先由客户端向NameNode发起文件上传请求，NameNode检查文件要上传的目录，并鉴权。

十里桃花舞丶 2021-09-102021-09-10 11:17:24

发表了文章 2021-09-102021-09-10 11:17:11

【HDFS】系统架构与存储机制

HDFS是主从架构（Master/Slave），当然这也是大数据产品最常见的架构。主节点为NameNode，从节点为DataNode。其中DataNode用于存...

十里桃花舞丶 2021-09-102021-09-10 11:17:11

发表了文章 2021-09-102021-09-10 11:16:45

【HDFS】分布式文件系统HDFS

HDFS全称Hadoop Distributed File System，Hadoop分布式文件系统。它是2003年10月Google发表的GFS（Google...

十里桃花舞丶 2021-09-102021-09-10 11:16:45

12 3 4 5 6 7 8 下一页

个人简介

暂未填写公司和职称
暂未填写个人简介
React ReactNative Android ES 2 Git
暂未填写学校和专业
暂未填写个人网址
暂未填写所在城市

个人成就

影响力总排行第 1461 名
获得 405 次赞同
文章被阅读 86.2K 次

关注了：1关注者：25

腾讯云·社区

云+社区