大数据”这个名词越来越多进入我们的视野。大数据的快速发展也在无时无刻影响着我们的生活。

那大数据究竟是什么呢?

在大数据生态圈中hadoop和Spark扮演着什么样的角色?

博乖乖博乖乖提问于
全球资讯翻译官为您提供人工智能,机器学习,神经网络等技术的前沿资讯回答于

先回答题主的第一个问题:

Hadoop 是什么?

  1. Hadoop 是 Apache 旗下的一套开源软件平台。
  2. Hadoop 可以利用计算机集群,根据用户自定义的业务逻辑对海量数据进行分布式处理。
  3. 通常我们说的 Hadoop 是指一个更广泛的概念--Hadoop 生态圈。

这个就是两个大数据处理框架 Hadoop 和 Spark。蓝色部分是 Hadoop 的生态圈组件,黄色部分是 Spark 生态圈组建。这两个框架之间的关系并不是互斥的,它们之间既有合作,补充又有竞争。比如 Spark 提供的实时内存计算是比 Hadoop 中 MapReduce 快的多的技术,但是 Spark 又依赖于 Hadoop 中的 HDFS 来存储数据。虽然 Spark 也可以基于于别的系统进行搭建,但是大家一致认为 Spark 和 Hadoop 更配。

从技术的的角度来解释,大数据就是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

回答过的其他问题

云计算如何帮助大数据快速完成基础架构?

全球资讯翻译官为您提供人工智能,机器学习,神经网络等技术的前沿资讯
其实楼上的一些应该就是最基础的功能套件了把: 其实个人更加看中的云计算的可扩展性和便捷性。 [图片] 云计算的基础架构类似于这样 云基础架构在传统基础架构计算、存储、网络硬件层的基础上,增加了虚拟化层、云层: 虚拟化层:大多数云基础架构都广泛采用虚拟化技术,包括计算虚拟化、存...... 展开详请

云服务器是否支持更换操作系统?

全球资讯翻译官为您提供人工智能,机器学习,神经网络等技术的前沿资讯
如果是同平台内:Linux-Linux;Windows-Windows如linux换linux,windows换windows,可以直接在云主机控制台的重装系统按钮进行自主更换;操作步骤:登录云主机管理中心控制台->选中需更换系统的云主机->更多->关机->在关机状态下->点“更...... 展开详请

正则表达式匹配第一组与某些文本

全球资讯翻译官为您提供人工智能,机器学习,神经网络等技术的前沿资讯
已采纳
在普通情况下,您可以使用强化贪婪的令牌一样(?:(?!<STOP_PATTERN>).)*?在开始分隔符和一些应该分隔符之间会出现在第三个字符串之间。 你可以写你的正则表达式 (?si)step start(?:(?!step start).)*?database:dev.*?...... 展开详请

TRTC云端混流转码全手动模式处理混流时是连麦者配置,还是房主设置?

全球资讯翻译官为您提供人工智能,机器学习,神经网络等技术的前沿资讯
blocks|key|84rn9|type|unstyled|text|您好,TRTC云端混流转码全手动模式(Manual+处理混流的时候是由+每一个连麦者+调用setMixTranscodingConfig+进行配置的。|depth|inlineStyleRanges|offs...... 展开详请

实时音视频卡顿怎么排查?

全球资讯翻译官为您提供人工智能,机器学习,神经网络等技术的前沿资讯
blocks|key|fmf5b|type|unstyled|text|您好,可以拿到对应+roomid+房间号、userid+用户id在腾讯云控制台通过监控仪表盘查下通话质量:|depth|inlineStyleRanges|entityRanges|offset|length...... 展开详请

ServeHTTP如何运作?

全球资讯翻译官为您提供人工智能,机器学习,神经网络等技术的前沿资讯
已采纳
这究竟如何运作?如何访问ServeHTTP功能? 要回答这个问题,我们需要看看它是如何http.ListenAndServe工作的: func ListenAndServe(addr string, handler Handler) error { server := ...... 展开详请

关于作者

全球资讯翻译官

腾讯总部 云加社区运营

所属标签

扫码关注云+社区

领取腾讯云代金券