基于Ambari的大数据平台解决方案：EDP，闪亮登场！

大家好，我是create17，见字如面。今天给大家推荐一个大数据平台产品，它的名字就是EDP，由我们团队精心打造而成。能通过 Ambari 快速可视化部署新版 Apache Hadoop，跟随 Apache 各社区版本，适配了各种国产化系统，持续迭代更新，强烈推荐！

一、前言

以前，我们可以通过 Apache Ambari + HDP 的形式部署 Hadoop 各组件。但自从 hortonworks 与 cloudera 公司合并后，hdp 就闭源了，不再更新。

在这种背景下，大家迫切希望 Ambari 能支持对 Apache Hadoop 的可视化安装部署；也希望 Ambari 能支持更多的操作系统，比如国产化操作系统等。

经过团队小伙伴们的不懈努力，我们迭代开发的基于 Apache Ambari 的大数据平台解决方案能满足大部分企业的要求。我们将产品命名为 EDP，译为「企业级数据平台」。不只是Ambari的升级，也有大数据平台各服务的生产级解决方案。

二、EDP 简介

EDP，全称是 Enterprise Data Platform，是基于 Ambari 可视化部署的 Hadoop 生态的大数据组件集合，是一套成熟的企业级大数据平台解决方案。集大数据存储、处理和分析于一体。

EDP旨在提供一种一站式的解决方案，简化了Hadoop生态中各个组件的版本匹配、安装、集群管理以及监控等工作。对于那些需要处理大规模数据集的企业来说，EDP提供了一个可靠、高效且易于管理的平台。

可代替 hdp、cdh 等产品。跟随 Apache 各社区版本，支持多种国产化系统适配等。

三、EDP 广泛的操作系统支持

EDP 支持的操作系统如下：

● 主流系统：CentOS 7/8；Rocky 8/9；Ubuntu 22/24；Debian 10/11/12。

● 国产系统：银河麒麟 Kylin V10；统信 UOS 1050a/e；OpenEuler (多个版本)；中科方德；Bc-Linux (多个版本)；红旗 Asianux v7。

● 定制支持：理论支持所有国产操作系统，可根据需求定制。

四、EDP 丰富的大数据组件生态

EDP 与 HDP 组件版本对比：

五、EDP 亮点介绍

1、Ambari Python3、JDK17 与 Spring6 版本发布

此次版本发布了国内首个基于Python3、JDK17与Spring6的 Ambari 版本。以下是技术选型的原因及优势：

为什么使用 Python3？

• Python2 已停止维护。
• 更多操作系统已内置Python3，Ambari 支持了Python3，能方便适配各种操作系统。

为什么选择 JDK17？

• 目前所有基于 Ambari 的大数据发行版（包括 HDP）仍使用 JDK8。
• Oracle 官方已于 2021 年 12 月停止对 JDK8 的公共更新和支持，这意味着不再提供安全更新和官方维护。
• JDK17 是官方发布的长期维护版本（LTS），更安全、更稳定。

为什么选择 Spring6？

• HDP 的 Ambari 以及社区版 Ambari 使用的是 Spring5。
• Spring5 的相关依赖（尤其是 Spring Security）存在大量 CVE 漏洞。根据 Maven 官方仓库统计，几乎所有版本都存在安全问题。
• 对于安全要求较高的单位，升级 Spring5 到 Spring6 是必然选择，而这需要先升级 JDK 到 17。因此，我们推出了基于 JDK17 和 Spring6 的安全版本。

2、相对比HDP，版本升级与组件新增

EDP 相比较 HDP 已有组件，都做了版本升级。此外，EDP也新增了很多组件，可谓是诚意满满：

• Alluxio：高性能分布式文件系统
• Celeborn：弹性大数据计算引擎
• CloudBeaver：DBeaver 的服务器版本。
• Dolphin Scheduler：分布式任务调度系统。
• Doris：MPP架构实时分析数据库。
• Flink：流处理和批处理框架
• Impala：Hadoop SQL查询引擎
• Kyuubi：数据湖查询服务网关
• Seatunnel：分布式数据集成平台，ELT 框架。
• Solr：全文搜索平台
• Superset：数据探索与BI可视化工具。
• VictoriaMetrics：高性能时序数据库。
• Nightingale：集群告警监控工具

3、Trino 升级

升级如下：

• Trino 升级到最新版本，使用 JDK 22。
• 集成了 Ranger 插件（此功能已通过 Trino 社区的 review，预计会在后续版本发布）。经内部合并测试无问题，具体内容可参考 Ranger 使用文档。

4、好用的监控工具

集成了国产最好用的监控告警组件 Nightingale。Nightingale 支持国内几乎所有通讯软件的告警，使用非常方便。其前身是滴滴开源的 Open Falcon，老运维应该会很熟悉。

5、版本支持

• 免费版本：
  • 支持大部分国产操作系统（基于 Radhat 8 内核，x86_64）。
  • 集成了很多大数据组件，满足普通用户的使用需求。
• 商业版本：
  • 支持更多操作系统：主流系统：CentOS 7/8；Rocky 8/9；Ubuntu 22/24；Debian 10/11/12。国产系统：银河麒麟 Kylin V10；统信 UOS 1050a/e；OpenEuler (多个版本)；中科方德；Bc-Linux (多个版本)；红旗 Asianux v7。
  • 支持 ARM 架构服务器。
  • 提供以下功能和服务：
    • 使用技术答疑与指导。
    • 集群组件相关技术支持，包括组件二次开发。
    • 集群参数优化。
    • 有部署工具，可支持一键傻瓜式部署，方便快捷。
    • Nightingale 大数据组件监控仪表盘配置文件。
  • 对于有二次开发需求的用户，提供全套自动化工具，屏蔽底层复杂性，降低上手门槛。例如：
    • 修改代码或升级组件。
    • 修复组件漏洞后，一键自动拉取代码仓库、编译并部署到测试集群，无需人工干预。

六、EDP 安装包分享

EDP 现对外免费开放，用户可使用EDP安装包，在内核版本是 redhat8 ，cpu架构是 x86_64 的操作系统上部署体验，对应的部署教程如下所示：

详细安装地址：

https://www.yuque.com/create17/edp/zoluwelwrvtge3c9