大数据”这个名词越来越多进入我们的视野。大数据的快速发展也在无时无刻影响着我们的生活。

那大数据究竟是什么呢?

在大数据生态圈中hadoop和Spark扮演着什么样的角色?

博乖乖博乖乖提问于
事情来得太突然资深菜鸟回答于

Hadoop是一个对海量数据进行处理的分布式系统架构,可以理解为Hadoop就是一个对大量的数据进行分析的工具,和其他组件搭配使用,来完成对大量数据的收集、存储和计算。

Hadoop框架最核心的设计就是:HDFS 和 MapReduce。

可以看下图:

应该说的比较清楚了~

回答过的其他问题

如何快速入门Kafka消息队列?

1. Kafka介绍 Kafka最早是由LinkedIn使用Java和Scala语言开发的,并在2011年开源,2012年成为Apache软件基金会的顶级项目。2014年,Kafka的几个创建人,成立了一家新的公司,叫做Confluent,专门从事Kafka相关的工作。 Kafk...... 展开详请

为什么人工智能在围棋上能几乎击败全人类?

通过计算,围棋的每一步都能在人工智能的预测之内,只是发生的概率大小的问题罢了

在Java中如何将字符串转换为“Character”数组?

java-8: String str = "testString"; //[t, e, s, t, S, t, r, i, n, g] Character[] charObjectArray = str.chars().mapToObj(c -> (char)c)....... 展开详请

大家都在使用什么版本的Linux发行版?为什么?

nginx多域名转发?

image.png 把我勾选的这句注释或者删除,重启nginx就行了!... 展开详请

如何使用Puppeteer从XHR请求获取body / json响应

已采纳
作为response.json回报,我们需要等待它。 await page.on('response', async (response) => { if (response.url() == "https://capuk.org/ajax_search/cap...... 展开详请

关于作者

所属标签

扫码关注云+社区

领取腾讯云代金券