admin管理员组文章数量:1037775
基于Ambari的大数据平台解决方案:EDP,闪亮登场!
大家好,我是create17,见字如面。今天给大家推荐一个大数据平台产品,它的名字就是EDP,由我们团队精心打造而成。能通过 Ambari 快速可视化部署新版 Apache Hadoop,跟随 Apache 各社区版本,适配了各种国产化系统,持续迭代更新,强烈推荐!
一、前言
以前,我们可以通过 Apache Ambari + HDP 的形式部署 Hadoop 各组件。但自从 hortonworks 与 cloudera 公司合并后,hdp 就闭源了,不再更新。
在这种背景下,大家迫切希望 Ambari 能支持对 Apache Hadoop 的可视化安装部署;也希望 Ambari 能支持更多的操作系统,比如国产化操作系统等。
经过团队小伙伴们的不懈努力,我们迭代开发的基于 Apache Ambari 的大数据平台解决方案能满足大部分企业的要求。我们将产品命名为 EDP,译为「企业级数据平台」。不只是Ambari的升级,也有大数据平台各服务的生产级解决方案。
二、EDP 简介
EDP,全称是 Enterprise Data Platform,是基于 Ambari 可视化部署的 Hadoop 生态的大数据组件集合,是一套成熟的企业级大数据平台解决方案。集大数据存储、处理和分析于一体。
EDP旨在提供一种一站式的解决方案,简化了Hadoop生态中各个组件的版本匹配、安装、集群管理以及监控等工作。对于那些需要处理大规模数据集的企业来说,EDP提供了一个可靠、高效且易于管理的平台。
可代替 hdp、cdh 等产品。跟随 Apache 各社区版本,支持多种国产化系统适配等。
三、EDP 广泛的操作系统支持
EDP 支持的操作系统如下:
● 主流系统:CentOS 7/8;Rocky 8/9;Ubuntu 22/24;Debian 10/11/12。
● 国产系统:银河麒麟 Kylin V10;统信 UOS 1050a/e;OpenEuler (多个版本);中科方德;Bc-Linux (多个版本);红旗 Asianux v7。
● 定制支持:理论支持所有国产操作系统,可根据需求定制。
四、EDP 丰富的大数据组件生态
EDP 与 HDP 组件版本对比:
五、EDP 亮点介绍
1、Ambari Python3、JDK17 与 Spring6 版本发布
此次版本发布了国内首个基于Python3、JDK17与Spring6的 Ambari 版本。以下是技术选型的原因及优势:
为什么使用 Python3?
- Python2 已停止维护。
- 更多操作系统已内置Python3,Ambari 支持了Python3,能方便适配各种操作系统。
为什么选择 JDK17?
- 目前所有基于 Ambari 的大数据发行版(包括 HDP)仍使用 JDK8。
- Oracle 官方已于 2021 年 12 月停止对 JDK8 的公共更新和支持,这意味着不再提供安全更新和官方维护。
- JDK17 是官方发布的长期维护版本(LTS),更安全、更稳定。
为什么选择 Spring6?
- HDP 的 Ambari 以及社区版 Ambari 使用的是 Spring5。
- Spring5 的相关依赖(尤其是 Spring Security)存在大量 CVE 漏洞。根据 Maven 官方仓库统计,几乎所有版本都存在安全问题。
- 对于安全要求较高的单位,升级 Spring5 到 Spring6 是必然选择,而这需要先升级 JDK 到 17。因此,我们推出了基于 JDK17 和 Spring6 的安全版本。
2、相对比HDP,版本升级与组件新增
EDP 相比较 HDP 已有组件,都做了版本升级。此外,EDP也新增了很多组件,可谓是诚意满满:
- Alluxio:高性能分布式文件系统
- Celeborn:弹性大数据计算引擎
- CloudBeaver:DBeaver 的服务器版本。
- Dolphin Scheduler:分布式任务调度系统。
- Doris:MPP架构实时分析数据库。
- Flink:流处理和批处理框架
- Impala:Hadoop SQL查询引擎
- Kyuubi:数据湖查询服务网关
- Seatunnel:分布式数据集成平台,ELT 框架。
- Solr:全文搜索平台
- Superset:数据探索与BI可视化工具。
- VictoriaMetrics:高性能时序数据库。
- Nightingale:集群告警监控工具
3、Trino 升级
升级如下:
- Trino 升级到最新版本,使用 JDK 22。
- 集成了 Ranger 插件(此功能已通过 Trino 社区的 review,预计会在后续版本发布)。经内部合并测试无问题,具体内容可参考 Ranger 使用文档。
4、好用的监控工具
集成了国产最好用的监控告警组件 Nightingale。Nightingale 支持国内几乎所有通讯软件的告警,使用非常方便。其前身是滴滴开源的 Open Falcon,老运维应该会很熟悉。
5、版本支持
- 免费版本:
- 支持大部分国产操作系统(基于 Radhat 8 内核,x86_64)。
- 集成了很多大数据组件,满足普通用户的使用需求。
- 商业版本:
- 支持更多操作系统:主流系统:CentOS 7/8;Rocky 8/9;Ubuntu 22/24;Debian 10/11/12。国产系统:银河麒麟 Kylin V10;统信 UOS 1050a/e;OpenEuler (多个版本);中科方德;Bc-Linux (多个版本);红旗 Asianux v7。
- 支持 ARM 架构服务器。
- 提供以下功能和服务:
- 使用技术答疑与指导。
- 集群组件相关技术支持,包括组件二次开发。
- 集群参数优化。
- 有部署工具,可支持一键傻瓜式部署,方便快捷。
- Nightingale 大数据组件监控仪表盘配置文件。
- 对于有二次开发需求的用户,提供全套自动化工具,屏蔽底层复杂性,降低上手门槛。例如:
- 修改代码或升级组件。
- 修复组件漏洞后,一键自动拉取代码仓库、编译并部署到测试集群,无需人工干预。
六、EDP 安装包分享
EDP 现对外免费开放,用户可使用EDP安装包,在内核版本是 redhat8 ,cpu架构是 x86_64 的操作系统上部署体验,对应的部署教程如下所示:
详细安装地址:
本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。原始发表:2024-12-20,如有侵权请联系 cloudcommunity@tencent 删除系统大数据部署操作系统解决方案
基于Ambari的大数据平台解决方案:EDP,闪亮登场!
大家好,我是create17,见字如面。今天给大家推荐一个大数据平台产品,它的名字就是EDP,由我们团队精心打造而成。能通过 Ambari 快速可视化部署新版 Apache Hadoop,跟随 Apache 各社区版本,适配了各种国产化系统,持续迭代更新,强烈推荐!
一、前言
以前,我们可以通过 Apache Ambari + HDP 的形式部署 Hadoop 各组件。但自从 hortonworks 与 cloudera 公司合并后,hdp 就闭源了,不再更新。
在这种背景下,大家迫切希望 Ambari 能支持对 Apache Hadoop 的可视化安装部署;也希望 Ambari 能支持更多的操作系统,比如国产化操作系统等。
经过团队小伙伴们的不懈努力,我们迭代开发的基于 Apache Ambari 的大数据平台解决方案能满足大部分企业的要求。我们将产品命名为 EDP,译为「企业级数据平台」。不只是Ambari的升级,也有大数据平台各服务的生产级解决方案。
二、EDP 简介
EDP,全称是 Enterprise Data Platform,是基于 Ambari 可视化部署的 Hadoop 生态的大数据组件集合,是一套成熟的企业级大数据平台解决方案。集大数据存储、处理和分析于一体。
EDP旨在提供一种一站式的解决方案,简化了Hadoop生态中各个组件的版本匹配、安装、集群管理以及监控等工作。对于那些需要处理大规模数据集的企业来说,EDP提供了一个可靠、高效且易于管理的平台。
可代替 hdp、cdh 等产品。跟随 Apache 各社区版本,支持多种国产化系统适配等。
三、EDP 广泛的操作系统支持
EDP 支持的操作系统如下:
● 主流系统:CentOS 7/8;Rocky 8/9;Ubuntu 22/24;Debian 10/11/12。
● 国产系统:银河麒麟 Kylin V10;统信 UOS 1050a/e;OpenEuler (多个版本);中科方德;Bc-Linux (多个版本);红旗 Asianux v7。
● 定制支持:理论支持所有国产操作系统,可根据需求定制。
四、EDP 丰富的大数据组件生态
EDP 与 HDP 组件版本对比:
五、EDP 亮点介绍
1、Ambari Python3、JDK17 与 Spring6 版本发布
此次版本发布了国内首个基于Python3、JDK17与Spring6的 Ambari 版本。以下是技术选型的原因及优势:
为什么使用 Python3?
- Python2 已停止维护。
- 更多操作系统已内置Python3,Ambari 支持了Python3,能方便适配各种操作系统。
为什么选择 JDK17?
- 目前所有基于 Ambari 的大数据发行版(包括 HDP)仍使用 JDK8。
- Oracle 官方已于 2021 年 12 月停止对 JDK8 的公共更新和支持,这意味着不再提供安全更新和官方维护。
- JDK17 是官方发布的长期维护版本(LTS),更安全、更稳定。
为什么选择 Spring6?
- HDP 的 Ambari 以及社区版 Ambari 使用的是 Spring5。
- Spring5 的相关依赖(尤其是 Spring Security)存在大量 CVE 漏洞。根据 Maven 官方仓库统计,几乎所有版本都存在安全问题。
- 对于安全要求较高的单位,升级 Spring5 到 Spring6 是必然选择,而这需要先升级 JDK 到 17。因此,我们推出了基于 JDK17 和 Spring6 的安全版本。
2、相对比HDP,版本升级与组件新增
EDP 相比较 HDP 已有组件,都做了版本升级。此外,EDP也新增了很多组件,可谓是诚意满满:
- Alluxio:高性能分布式文件系统
- Celeborn:弹性大数据计算引擎
- CloudBeaver:DBeaver 的服务器版本。
- Dolphin Scheduler:分布式任务调度系统。
- Doris:MPP架构实时分析数据库。
- Flink:流处理和批处理框架
- Impala:Hadoop SQL查询引擎
- Kyuubi:数据湖查询服务网关
- Seatunnel:分布式数据集成平台,ELT 框架。
- Solr:全文搜索平台
- Superset:数据探索与BI可视化工具。
- VictoriaMetrics:高性能时序数据库。
- Nightingale:集群告警监控工具
3、Trino 升级
升级如下:
- Trino 升级到最新版本,使用 JDK 22。
- 集成了 Ranger 插件(此功能已通过 Trino 社区的 review,预计会在后续版本发布)。经内部合并测试无问题,具体内容可参考 Ranger 使用文档。
4、好用的监控工具
集成了国产最好用的监控告警组件 Nightingale。Nightingale 支持国内几乎所有通讯软件的告警,使用非常方便。其前身是滴滴开源的 Open Falcon,老运维应该会很熟悉。
5、版本支持
- 免费版本:
- 支持大部分国产操作系统(基于 Radhat 8 内核,x86_64)。
- 集成了很多大数据组件,满足普通用户的使用需求。
- 商业版本:
- 支持更多操作系统:主流系统:CentOS 7/8;Rocky 8/9;Ubuntu 22/24;Debian 10/11/12。国产系统:银河麒麟 Kylin V10;统信 UOS 1050a/e;OpenEuler (多个版本);中科方德;Bc-Linux (多个版本);红旗 Asianux v7。
- 支持 ARM 架构服务器。
- 提供以下功能和服务:
- 使用技术答疑与指导。
- 集群组件相关技术支持,包括组件二次开发。
- 集群参数优化。
- 有部署工具,可支持一键傻瓜式部署,方便快捷。
- Nightingale 大数据组件监控仪表盘配置文件。
- 对于有二次开发需求的用户,提供全套自动化工具,屏蔽底层复杂性,降低上手门槛。例如:
- 修改代码或升级组件。
- 修复组件漏洞后,一键自动拉取代码仓库、编译并部署到测试集群,无需人工干预。
六、EDP 安装包分享
EDP 现对外免费开放,用户可使用EDP安装包,在内核版本是 redhat8 ,cpu架构是 x86_64 的操作系统上部署体验,对应的部署教程如下所示:
详细安装地址:
本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。原始发表:2024-12-20,如有侵权请联系 cloudcommunity@tencent 删除系统大数据部署操作系统解决方案
本文标签: 基于Ambari的大数据平台解决方案EDP,闪亮登场!
版权声明:本文标题:基于Ambari的大数据平台解决方案:EDP,闪亮登场! 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:http://it.en369.cn/jiaocheng/1748256085a2276075.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论