专栏首页加米谷大数据常见的几种大数据架构

常见的几种大数据架构

目前围绕Hadoop体系的大数据架构大概有以下几种

01

传统大数据架构

之所以叫传统大数据架构,是因为其定位是为了解决传统BI的问题。

优点:

简单,易懂,对于BI系统来说,基本思想没有发生变化,变化的仅仅是技术选型,用大数据架构替换掉BI的组件。

缺点:

对于大数据来说,没有BI下完备的Cube架构,对业务支撑的灵活度不够,所以对于存在大量报表,或者复杂的钻取的场景,需要太多的手工定制化,同时该架构依旧以批处理为主,缺乏实时的支撑。

适用场景:

数据分析需求依旧以BI场景为主,但是因为数据量、性能等问题无法满足日常使用。

02

流式架构

在传统大数据架构的基础上,直接拔掉了批处理,数据全程以流的形式处理,所以在数据接入端没有了ETL,转而替换为数据通道。

优点

没有臃肿的ETL过程,数据的实效性非常高。

缺点

流式架构不存在批处理,对于数据的重播和历史统计无法很好的支撑。对于离线分析仅仅支撑窗口之内的分析。

适用场景

预警,监控,对数据有有效期要求的情况。

03

Lambda架构

大多数架构基本都是Lambda架构或者基于其变种的架构。Lambda的数据通道分为两条分支:实时流和离线。

优点

既有实时又有离线,对于数据分析场景涵盖的非常到位。

缺点

离线层和实时流虽然面临的场景不相同,但是其内部处理的逻辑却是相同,因此有大量荣誉和重复的模块存在。

适用场景

同时存在实时和离线需求的情况。

04

Kappa架构

在Lambda 的基础上进行了优化,将实时和流部分进行了合并,将数据通道以消息队列进行替代。

优点

解决了Lambda架构里面的冗余部分,以数据可重播的思想进行了设计,整个架构非常简洁。

缺点

虽然Kappa架构看起来简洁,但是施难度相对较高,尤其是对于数据重播部分。

适用场景

和Lambda类似,改架构是针对Lambda的优化。

05

Unifield架构

以上的种种架构都围绕海量数据处理为主,Unifield架构则将机器学习和数据处理揉为一体,在流处理层新增了机器学习层。

优点

提供了一套数据分析和机器学习结合的架构方案,解决了机器学习如何与数据平台进行结合的问题。

缺点

实施复杂度更高,对于机器学习架构来说,从软件包到硬件部署都和数据分析平台有着非常大的差别,因此在实施过程中的难度系数更高。

适用场景

有着大量数据需要分析,同时对机器学习方便又有着非常大的需求或者有规划。

本文分享自微信公众号 - 加米谷大数据(DtinoneBD)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-12-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 传统金融IT男转型互联网大数据码农(下)

    环境准备:本地弄了五台虚拟机,开始搭建 Hadoop 集群,版本的话老师建议我们选择的 Hadoop 2.6.5(企业要的比较多的)

    加米谷大数据
  • spark之广播变量设计和实现

    但是最新的 spark 版本中, http 的方式已经废弃了(pr 在此https://github.com/apache/spark/pull/10531),...

    加米谷大数据
  • BI系统存在哪些问题,怎么解决?

    在BI系统里面,核心的模块是Cube,Cube是一个更高层的业务模型抽象,在Cube之上可以进行多种操作,大部分BI系统都基于关系型数据库,关系型数据库使用SQ...

    加米谷大数据
  • 聊聊架构设计做些什么来谈如何成为架构师

      也因为碎片化的时间多了,所以开始刷某乎了,关注了架构相关的板块,也顺手回答了一些问题。发现有很多同道中人正在经历着我前两年经历的阶段,对于做架构没有相对具象...

    Zachary_ZF
  • 美丽的架构

    美丽的架构究竟是怎样的?架构师们上下求索,孜孜以求,始终不得其解。归根结底,美丽这个词语总还是偏于感性认识,就仿佛音乐之美,绘画之美,不能以尺度来衡量,追求的其...

    张逸
  • 架构设计《一》谈谈架构

    https://blog.csdn.net/hguisu/article/details/78258430

    搜云库技术团队
  • 「演进架构」架构在实施之前是抽象的

    这是一个思想实验。拿一台计算机,在其上安装主流操作系统,以及各种软件(数据库,应用程序服务器,Web服务器等)。一切正常后,拔下电脑并将其放入壁橱中一年。在这一...

    首席架构师智库
  • 干货 | 魅族云平台系统架构师梁鹏:魅族基础系统架构运维之路

    嘉宾演讲视频 Guest Video ? 温馨提示 本视频时长48分46秒,建议在wifi下观看 5月13日,应用性能管理大讲堂第十七期——《架构演进中的关键技...

    IT大咖说
  • 架构如何为业务和技术“服务”(1)

    前言 为提升架构对于项目,产品的贡献度,更好的服务于业务和技术,本文将探讨架构的现状和规划未来架构的目标。 在讨论架构、业务、技术的问题前,请耐心的阅读完本文有...

    用户1177503
  • 《架构师》反思:软件架构设计

    最近在看《软件架构师教程》,今天就第五章《软件架构设计》总结一下,其中还有自己所联想到的。主要从以下几个方面来描述: 软件架构 ABSD 架构模式 DSSA...

    用户1172223

扫码关注云+社区

领取腾讯云代金券