产品架构

最近更新时间:2024-09-10 16:48:11

我的收藏
弹性 MapReduce 产品逻辑架构如图所示:

EMR 主要由开源组件、腾讯云基础设施和集群管理三部分构成:
开源组件
集成 Apache 社区 Hadoop、Hive、Spark、Hbase、Presto、Flink、Alluxio、Iceberg 等几十种丰富、前沿的开源大数据组件(详见 组件版本概览)。
基于Iceberg、Alluxio 等开源组件优化,提供 Iceberg Z-Order 算法、Alluxio 透明 URI 等性能及功能增强。
腾讯云基础设施
可基于云服务器(CVM)、裸金属云服务器等多种底层计算资源部署,支持容器化部署。
数据可存储在本地盘、云硬盘,或腾讯云对象存储(COS)、云 HDFS 服务上。
私有网络(VPC)、网络 ACL 、安全组为 EMR 提供安全隔离的网络环境。
集群管理
快速创建、灵活扩缩、自动伸缩的云端智能部署管理。
服务配置管理、批量节点管理、服务运维可视化操作等丰富便捷的运维工具。
多维度指标监控、事件、巡检、告警、日志搜索等完善的集群监控诊断能力。