Lamda架构研究「建议收藏」

大家好，又见面了，我是你们的朋友全栈君。

Lamda架构学习

一、Lamda架构介绍

Lambda架构整合离线计算和实时计算，融合不可变性（Immutability），读写分离和复杂性隔离等一系列架构原则，可集成Hadoop，Kafka，Storm，Spark，HBase等各类大数据组件。

Lambda架构的目的是为应用程序提供一个低延迟的复合异步数据传输环境，例如新闻类应用，经常需要进行大规模信息处理，包括输入，归类，索引，存储等操作。

二、 Lambda架构思想

Lamda架构研究「建议收藏」

所有进入系统的数据被分配到了批处理层和实时处理层来处理。

批处理层管理着主数据集（一个不可修改，只能新增的原始数据）和预计算批处理视图。服务层索引批处理视图，因此可以对它们进行低延时的临时查询。

实时处理层只处理近期的数据。任何输入的查询结果都合并了批处理视图和实时视图的查询结果

三、 Lambda架构开源组件选型

数据流通用：Kafka、Flume、Hdfs

1、批处理层选型：

批处理存储层：HDFS,Hadoop,或者阿里的ODPS

批处理计算层：MapReduce,Spark

批处理服务层：HBase,或Cassandra

2、实时处理层选型：

实时处理：Storm或Spark Streaming

实时处理服务层：Redis

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/144056.html原文链接：https://javaforall.cn