admin管理员组

文章数量:1037775

基于Ambari的大数据平台解决方案:EDP,闪亮登场!

大家好,我是create17,见字如面。今天给大家推荐一个大数据平台产品,它的名字就是EDP,由我们团队精心打造而成。能通过 Ambari 快速可视化部署新版 Apache Hadoop,跟随 Apache 各社区版本,适配了各种国产化系统,持续迭代更新,强烈推荐!

一、前言

以前,我们可以通过 Apache Ambari + HDP 的形式部署 Hadoop 各组件。但自从 hortonworks 与 cloudera 公司合并后,hdp 就闭源了,不再更新。

在这种背景下,大家迫切希望 Ambari 能支持对 Apache Hadoop 的可视化安装部署;也希望 Ambari 能支持更多的操作系统,比如国产化操作系统等。

经过团队小伙伴们的不懈努力,我们迭代开发的基于 Apache Ambari 的大数据平台解决方案能满足大部分企业的要求。我们将产品命名为 EDP,译为「企业级数据平台」。不只是Ambari的升级,也有大数据平台各服务的生产级解决方案。

二、EDP 简介

EDP,全称是 Enterprise Data Platform,是基于 Ambari 可视化部署的 Hadoop 生态的大数据组件集合,是一套成熟的企业级大数据平台解决方案。集大数据存储、处理和分析于一体。

EDP旨在提供一种一站式的解决方案,简化了Hadoop生态中各个组件的版本匹配、安装、集群管理以及监控等工作。对于那些需要处理大规模数据集的企业来说,EDP提供了一个可靠、高效且易于管理的平台。

可代替 hdp、cdh 等产品。跟随 Apache 各社区版本,支持多种国产化系统适配等。

三、EDP 广泛的操作系统支持

EDP 支持的操作系统如下:

● 主流系统:CentOS 7/8;Rocky 8/9;Ubuntu 22/24;Debian 10/11/12。

● 国产系统:银河麒麟 Kylin V10;统信 UOS 1050a/e;OpenEuler (多个版本);中科方德;Bc-Linux (多个版本);红旗 Asianux v7。

● 定制支持:理论支持所有国产操作系统,可根据需求定制。

四、EDP 丰富的大数据组件生态

EDP 与 HDP 组件版本对比:

五、EDP 亮点介绍

1、Ambari Python3、JDK17 与 Spring6 版本发布

此次版本发布了国内首个基于Python3JDK17Spring6的 Ambari 版本。以下是技术选型的原因及优势:

为什么使用 Python3?

  • Python2 已停止维护。
  • 更多操作系统已内置Python3,Ambari 支持了Python3,能方便适配各种操作系统。

为什么选择 JDK17?

  • 目前所有基于 Ambari 的大数据发行版(包括 HDP)仍使用 JDK8。
  • Oracle 官方已于 2021 年 12 月停止对 JDK8 的公共更新和支持,这意味着不再提供安全更新和官方维护。
  • JDK17 是官方发布的长期维护版本(LTS),更安全、更稳定。

为什么选择 Spring6?

  • HDP 的 Ambari 以及社区版 Ambari 使用的是 Spring5。
  • Spring5 的相关依赖(尤其是 Spring Security)存在大量 CVE 漏洞。根据 Maven 官方仓库统计,几乎所有版本都存在安全问题。
  • 对于安全要求较高的单位,升级 Spring5 到 Spring6 是必然选择,而这需要先升级 JDK 到 17。因此,我们推出了基于 JDK17 和 Spring6 的安全版本。

2、相对比HDP,版本升级与组件新增

EDP 相比较 HDP 已有组件,都做了版本升级。此外,EDP也新增了很多组件,可谓是诚意满满:

  • Alluxio:高性能分布式文件系统
  • Celeborn:弹性大数据计算引擎
  • CloudBeaver:DBeaver 的服务器版本。
  • Dolphin Scheduler:分布式任务调度系统。
  • Doris:MPP架构实时分析数据库。
  • Flink:流处理和批处理框架
  • Impala:Hadoop SQL查询引擎
  • Kyuubi:数据湖查询服务网关
  • Seatunnel:分布式数据集成平台,ELT 框架。
  • Solr:全文搜索平台
  • Superset:数据探索与BI可视化工具。
  • VictoriaMetrics:高性能时序数据库。
  • Nightingale:集群告警监控工具

3、Trino 升级

升级如下:

  • Trino 升级到最新版本,使用 JDK 22。
  • 集成了 Ranger 插件(此功能已通过 Trino 社区的 review,预计会在后续版本发布)。经内部合并测试无问题,具体内容可参考 Ranger 使用文档。

4、好用的监控工具

集成了国产最好用的监控告警组件 Nightingale。Nightingale 支持国内几乎所有通讯软件的告警,使用非常方便。其前身是滴滴开源的 Open Falcon,老运维应该会很熟悉。

5、版本支持

  • 免费版本
    • 支持大部分国产操作系统(基于 Radhat 8 内核,x86_64)。
    • 集成了很多大数据组件,满足普通用户的使用需求。
  • 商业版本
    • 支持更多操作系统:主流系统:CentOS 7/8;Rocky 8/9;Ubuntu 22/24;Debian 10/11/12。国产系统:银河麒麟 Kylin V10;统信 UOS 1050a/e;OpenEuler (多个版本);中科方德;Bc-Linux (多个版本);红旗 Asianux v7。
    • 支持 ARM 架构服务器。
    • 提供以下功能和服务:
      • 使用技术答疑与指导。
      • 集群组件相关技术支持,包括组件二次开发。
      • 集群参数优化。
      • 有部署工具,可支持一键傻瓜式部署,方便快捷。
      • Nightingale 大数据组件监控仪表盘配置文件。
    • 对于有二次开发需求的用户,提供全套自动化工具,屏蔽底层复杂性,降低上手门槛。例如:
      • 修改代码或升级组件。
      • 修复组件漏洞后,一键自动拉取代码仓库、编译并部署到测试集群,无需人工干预。

六、EDP 安装包分享

EDP 现对外免费开放,用户可使用EDP安装包,在内核版本是 redhat8 ,cpu架构是 x86_64 的操作系统上部署体验,对应的部署教程如下所示:

详细安装地址:

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。原始发表:2024-12-20,如有侵权请联系 cloudcommunity@tencent 删除系统大数据部署操作系统解决方案

基于Ambari的大数据平台解决方案:EDP,闪亮登场!

大家好,我是create17,见字如面。今天给大家推荐一个大数据平台产品,它的名字就是EDP,由我们团队精心打造而成。能通过 Ambari 快速可视化部署新版 Apache Hadoop,跟随 Apache 各社区版本,适配了各种国产化系统,持续迭代更新,强烈推荐!

一、前言

以前,我们可以通过 Apache Ambari + HDP 的形式部署 Hadoop 各组件。但自从 hortonworks 与 cloudera 公司合并后,hdp 就闭源了,不再更新。

在这种背景下,大家迫切希望 Ambari 能支持对 Apache Hadoop 的可视化安装部署;也希望 Ambari 能支持更多的操作系统,比如国产化操作系统等。

经过团队小伙伴们的不懈努力,我们迭代开发的基于 Apache Ambari 的大数据平台解决方案能满足大部分企业的要求。我们将产品命名为 EDP,译为「企业级数据平台」。不只是Ambari的升级,也有大数据平台各服务的生产级解决方案。

二、EDP 简介

EDP,全称是 Enterprise Data Platform,是基于 Ambari 可视化部署的 Hadoop 生态的大数据组件集合,是一套成熟的企业级大数据平台解决方案。集大数据存储、处理和分析于一体。

EDP旨在提供一种一站式的解决方案,简化了Hadoop生态中各个组件的版本匹配、安装、集群管理以及监控等工作。对于那些需要处理大规模数据集的企业来说,EDP提供了一个可靠、高效且易于管理的平台。

可代替 hdp、cdh 等产品。跟随 Apache 各社区版本,支持多种国产化系统适配等。

三、EDP 广泛的操作系统支持

EDP 支持的操作系统如下:

● 主流系统:CentOS 7/8;Rocky 8/9;Ubuntu 22/24;Debian 10/11/12。

● 国产系统:银河麒麟 Kylin V10;统信 UOS 1050a/e;OpenEuler (多个版本);中科方德;Bc-Linux (多个版本);红旗 Asianux v7。

● 定制支持:理论支持所有国产操作系统,可根据需求定制。

四、EDP 丰富的大数据组件生态

EDP 与 HDP 组件版本对比:

五、EDP 亮点介绍

1、Ambari Python3、JDK17 与 Spring6 版本发布

此次版本发布了国内首个基于Python3JDK17Spring6的 Ambari 版本。以下是技术选型的原因及优势:

为什么使用 Python3?

  • Python2 已停止维护。
  • 更多操作系统已内置Python3,Ambari 支持了Python3,能方便适配各种操作系统。

为什么选择 JDK17?

  • 目前所有基于 Ambari 的大数据发行版(包括 HDP)仍使用 JDK8。
  • Oracle 官方已于 2021 年 12 月停止对 JDK8 的公共更新和支持,这意味着不再提供安全更新和官方维护。
  • JDK17 是官方发布的长期维护版本(LTS),更安全、更稳定。

为什么选择 Spring6?

  • HDP 的 Ambari 以及社区版 Ambari 使用的是 Spring5。
  • Spring5 的相关依赖(尤其是 Spring Security)存在大量 CVE 漏洞。根据 Maven 官方仓库统计,几乎所有版本都存在安全问题。
  • 对于安全要求较高的单位,升级 Spring5 到 Spring6 是必然选择,而这需要先升级 JDK 到 17。因此,我们推出了基于 JDK17 和 Spring6 的安全版本。

2、相对比HDP,版本升级与组件新增

EDP 相比较 HDP 已有组件,都做了版本升级。此外,EDP也新增了很多组件,可谓是诚意满满:

  • Alluxio:高性能分布式文件系统
  • Celeborn:弹性大数据计算引擎
  • CloudBeaver:DBeaver 的服务器版本。
  • Dolphin Scheduler:分布式任务调度系统。
  • Doris:MPP架构实时分析数据库。
  • Flink:流处理和批处理框架
  • Impala:Hadoop SQL查询引擎
  • Kyuubi:数据湖查询服务网关
  • Seatunnel:分布式数据集成平台,ELT 框架。
  • Solr:全文搜索平台
  • Superset:数据探索与BI可视化工具。
  • VictoriaMetrics:高性能时序数据库。
  • Nightingale:集群告警监控工具

3、Trino 升级

升级如下:

  • Trino 升级到最新版本,使用 JDK 22。
  • 集成了 Ranger 插件(此功能已通过 Trino 社区的 review,预计会在后续版本发布)。经内部合并测试无问题,具体内容可参考 Ranger 使用文档。

4、好用的监控工具

集成了国产最好用的监控告警组件 Nightingale。Nightingale 支持国内几乎所有通讯软件的告警,使用非常方便。其前身是滴滴开源的 Open Falcon,老运维应该会很熟悉。

5、版本支持

  • 免费版本
    • 支持大部分国产操作系统(基于 Radhat 8 内核,x86_64)。
    • 集成了很多大数据组件,满足普通用户的使用需求。
  • 商业版本
    • 支持更多操作系统:主流系统:CentOS 7/8;Rocky 8/9;Ubuntu 22/24;Debian 10/11/12。国产系统:银河麒麟 Kylin V10;统信 UOS 1050a/e;OpenEuler (多个版本);中科方德;Bc-Linux (多个版本);红旗 Asianux v7。
    • 支持 ARM 架构服务器。
    • 提供以下功能和服务:
      • 使用技术答疑与指导。
      • 集群组件相关技术支持,包括组件二次开发。
      • 集群参数优化。
      • 有部署工具,可支持一键傻瓜式部署,方便快捷。
      • Nightingale 大数据组件监控仪表盘配置文件。
    • 对于有二次开发需求的用户,提供全套自动化工具,屏蔽底层复杂性,降低上手门槛。例如:
      • 修改代码或升级组件。
      • 修复组件漏洞后,一键自动拉取代码仓库、编译并部署到测试集群,无需人工干预。

六、EDP 安装包分享

EDP 现对外免费开放,用户可使用EDP安装包,在内核版本是 redhat8 ,cpu架构是 x86_64 的操作系统上部署体验,对应的部署教程如下所示:

详细安装地址:

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。原始发表:2024-12-20,如有侵权请联系 cloudcommunity@tencent 删除系统大数据部署操作系统解决方案

本文标签: 基于Ambari的大数据平台解决方案EDP,闪亮登场!