腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

挖掘大数据

专栏作者

113

文章

193028

阅读量

71

订阅数

详解使用hadoop2.6.0搭建5个节点的分布式集群（附代码）

数据处理 hadoop 分布式

我们使用hadoop2.6.0版本配置Hadoop集群，同时配置NameNode+HA、ResourceManager+HA，并使用zookeeper来管理Hadoop集群

挖掘大数据

2018-01-19

1.1K0

详解Hadoop HA 如何运作

hadoop 系统架构大数据分布式

最近对于Hadoop技术有比较大的兴趣，但由于接触时间不长，很多技术细节认识不够，作为一个技术人员，本着追根溯源的精神，还是有必要吃透，也为自己的工作沉淀一些经验总结。网上关于Hadoop HA的资料多集中于怎么搭建HA，对于HA为什么要这么做描述甚少，所以本文对于HA是如何搭建的暂不介绍，主要是介绍HA是怎么运作，QJM又是怎么发挥功效的。

挖掘大数据

2018-01-16

1.5K0

zookeeper：分布式协调服务浅析

zookeeper 分布式 java

由于之前了解一个分布式框架（dubbo）时，其中涉及到zookeeper，因此今天就先来大概的介绍一下zookeeper。zookeeper是一个用来管理大量的主机的分布式协调服务。

挖掘大数据

2018-01-10

7700

Standalone模式安装Spark

spark 大数据分布式

本文介绍了如何安装和配置Apache Spark，以在完全分布式集群上运行。首先，介绍了如何将Spark解压并上传到指定目录，然后修改环境变量并配置Spark-env.sh。最后，介绍了如何配置slaves文件并启动和验证Spark。

挖掘大数据

2017-12-21

5220

如何搭建Hadoop伪分布式集群？

hadoop 分布式

本文介绍了如何搭建Hadoop伪分布式集群。首先，下载并解压Hadoop压缩包；然后，配置Hadoop并启动HDFS和YARN服务；最后，使用jps命令查看进程是否存在，并访问HDFS和YARN的管理界面。

挖掘大数据

2017-12-20

1K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态