腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

LuckQI

专栏作者

80

文章

55804

阅读量

26

订阅数

学习Java基础知识，打通面试关十~IO流

java 大数据 hbase spark

在做大数据的时候刚开始把所有数据都存入lhbase中，结果导致hbase每天都有很多数据而且key设置的是ip虽然散列了，但是随着数据量的增加，用spark查询是越来越慢，因为新学习当时没有了解到Hbase的具体存储模式。在知道之后，就考虑写文件的方式。这个只是暂时想出来的方案。后来改成写Hadoop文件。我们经常用的IO 大部分都是BIO但是在我们提高性能的方式上都是AIO,NIO.他们有什么区别呢？我们今天就来看看。明白两个概念阻塞与非阻塞：阻塞就是当满足条件后，程序会等待该方式或者方法执行完

2018-07-19

4370

大数据学习~Hadoop初识三Yarn模式

yarn node.js hadoop mapreduce hbase

在上篇文章中我们简单的学习了HDFS简单架构，还有最重要的读写流程。我们都知道在如今的Hadoop中主要有三个重要的执行管理器。一个HDFS,一个MapReduce,还有就是我们今天要看的 YARN。 2.0以前的Hadoop 在2.0以前的hadoop中是没有Yarn这个模式管理的。大部分都是独自作战。Hbase做自己的，Spark也是做自己的,等等。这样的话就会造成资源的浪费，不能充分的把资源给利用上。特别是在1.x的版本上容易出现单点故障，不容易扩展的情况。在这里Client的请求都会通过1个Job

2018-06-29

2640

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态