LuckQI-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

LuckQI

专栏成员

80

文章

57630

阅读量

26

订阅数

学习Java基础知识，打通面试关十~IO流

java 大数据 hbase spark

在做大数据的时候刚开始把所有数据都存入lhbase中，结果导致hbase每天都有很多数据而且key设置的是ip虽然散列了，但是随着数据量的增加，用spark查询是越来越慢，因为新学习当时没有了解到Hbase的具体存储模式。在知道之后，就考虑写文件的方式。这个只是暂时想出来的方案。后来改成写Hadoop文件。我们经常用的IO 大部分都是BIO但是在我们提高性能的方式上都是AIO,NIO.他们有什么区别呢？我们今天就来看看。明白两个概念阻塞与非阻塞：阻塞就是当满足条件后，程序会等待该方式或者方法执行完

2018-07-19

4560

Java大数据学习~Hadoop初识一了解其架构

大数据 hadoop 存储

今天趁着端午节的最后一天假期，把想看的视频看了下。也走了一遍Hadoop的安装步骤。总的来说流程也明白了很多。这次文章简单的介绍知识点。具体安装步骤大家可以先看网上的。后面有时间的时候在补一篇。我们的文章是建立在Hadoop已经安装好的情况下。请大家注意再练习的时候首先把环境安装好。 HDFS 简介在HDFS的学习中，我们首先应该明白他具体是什么，为什么会有这个系统。优点和缺点是什么。 HDFS是什么呢？HDFS即Hadoop分布式文件系统（Hadoop Distributed Filesyste

2018-07-19

3790

Java大数据学习~Hadoop初识二读取与写入流程

大数据 socket编程 node.js

昨天的文章我们简单的说了下Hadoop中HDFS的内容，今天我们来了解下HDFS的都写入流程。当然该流程也是一个经常面试遇到的一个问题。 HDFS的写入流程在HDFS客户端想要往HDFS写入文件，流程如下首先客户端发送请求，携带者配置文件信息，还有文件的路径访问到NameNode后，NameNode根据文件路径，去查看该路径是否存在，不存在继续将文件进行Block切割还有DataNode信息。存在追缴内容到对应的文件上客户端接收到NameNode信息后，根据返回的Block信息访问到最近

2018-06-29

5220

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态