包子铺里聊IT-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

包子铺里聊IT

https://baozitraining.org/ 北美最优秀的程序员模拟面试 - 包子IT面试培训

专栏成员

123

文章

111635

阅读量

37

订阅数

ide hadoop git github

1. 周五的组会，demo time, 想到过去一段时间加班加点的项目快要完工，心中是有点小开心的。想来想去，决定简单展示一下，顺便听听大家的意见。于是打开电脑，连好 TV, 简单的聊了聊要解决的问题，以及对应的具体方案，片刻后在 Terminal 跑几个示例，看到大家基本上都明白了，或者看上去明白了，准备收工。 “But it’s a new paradigm”. 组里的资深工程师打断道。 paradigm: a typical example or pattern of something;

包子面试培训

2018-04-20

5830

五分钟零基础介绍 Spark

hadoop spark 数据处理机器学习神经网络

相信大家都听说过火的不能再火、炒得不能再炒的新一代大数据处理框架 Spark. 那么 Spark 是何方神圣？为何大有取代 Hadoop 的势头？Spark 内部又是如何工作的呢？我们会用几篇文章为大家一一介绍。 Hadoop：我不想知道我是怎么来的，我就想知道我是怎么没的？还是从 Hadoop 处理海量数据的架构说起，一个 Hadoop job 通常都是这样的：从 HDFS 读取输入数据；在 Map 阶段使用用户定义的 mapper function, 然后把结果写入磁盘；在 Reduce 阶段，

包子面试培训

2018-04-20

6140

五分钟零基础搞懂Hadoop

hadoop 大数据编程算法

「大数据」，想必大家经常听到这个被炒得很热的话题。随之而来的是各种看似高大上的专业术语，比如「扩展性」、「可靠性」、「容错性」，好像真的很高深，要积累多年经验才能学习。但另一方面，很多同学都刚刚进入互联网这个行业，对分布式计算还没有很多了解，那是不是就要花很多力气才能搞懂「大数据」呢？不必担心，包子老师在这里用浅显易懂深入浅出的语言，帮助没有基础的同学快速的入手「大数据」，让每位同学都能迅速学会最前沿的技术。今天，我们先学习当前使用最广泛的大数据处理框架 Hadoop. Hadoop，你是怎么来的？今天

包子面试培训

2018-04-20

6150

5分钟深入浅出 HDFS

hadoop 分布式

通过前面几篇文章的介绍，我们深入讨论了 Hadoop MapReduce 处理数据的过程，以及优化 MapReduce 性能的方方面面。期间被反复提及的 HDFS 分布式文件存储系统，一直没有机会深入讲解。那么今天我们就仔细学习一下 HDFS 是如何工作的。 HDFS架构 HDFS Client 大家还记得我们如何向 Hadoop cluster 提交任务吗？是通过 Hadoop client 进行的。同样，我们和 HDFS 打交道也是通过一个 client library. 无论读取一个文件或者写一个

包子面试培训

2018-04-19

7520

五分钟深入 Hadoop 内核

hadoop 大数据 jar

前一篇系列文章 <五分钟零基础理解 Hadoop> 介绍了 Hadoop 到底是怎么回事。下面几篇文章介绍 Hadoop 的核心框架, 为后面讨论 Hadoop 面试题打好基础！回顾上篇文章我们说

包子面试培训

2018-04-19

7750

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态