腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

LuckQI

专栏作者

80

文章

55724

阅读量

26

订阅数

惊心动魄的Hadoop-6小时350T数据恢复

node.js hadoop spark bash bash 指令

这次文章是记录一下数据恢复。上周五在调试Spark数据的时候发现了一个问题，就是一直显示No lease的问题，我们的实时处理程序升级之后，处理的数据量在一个小时内暴增1T。我们的小时程序Spark，有的单个key数据重复导致value值增大，程序运行卡住，根据网上查的参数进行调整。 Hadoop 在调整前，将Hadoop进行关闭 . stop-all.sh 进行关闭我们在第一步进行关闭的时候这里就出现问题。。。关闭hadoop.sh 出现异常，关闭失败。只好使用linux 上的kill 强制杀

2018-07-19

3360

Java大数据学习~Hadoop初识一了解其架构

大数据 hadoop 存储

今天趁着端午节的最后一天假期，把想看的视频看了下。也走了一遍Hadoop的安装步骤。总的来说流程也明白了很多。这次文章简单的介绍知识点。具体安装步骤大家可以先看网上的。后面有时间的时候在补一篇。我们的文章是建立在Hadoop已经安装好的情况下。请大家注意再练习的时候首先把环境安装好。 HDFS 简介在HDFS的学习中，我们首先应该明白他具体是什么，为什么会有这个系统。优点和缺点是什么。 HDFS是什么呢？HDFS即Hadoop分布式文件系统（Hadoop Distributed Filesyste

2018-07-19

3650

大数据学习~Hadoop初识三Yarn模式

yarn node.js hadoop mapreduce hbase

在上篇文章中我们简单的学习了HDFS简单架构，还有最重要的读写流程。我们都知道在如今的Hadoop中主要有三个重要的执行管理器。一个HDFS,一个MapReduce,还有就是我们今天要看的 YARN。 2.0以前的Hadoop 在2.0以前的hadoop中是没有Yarn这个模式管理的。大部分都是独自作战。Hbase做自己的，Spark也是做自己的,等等。这样的话就会造成资源的浪费，不能充分的把资源给利用上。特别是在1.x的版本上容易出现单点故障，不容易扩展的情况。在这里Client的请求都会通过1个Job

2018-06-29

2640

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态