【技术革新】告别AMS，拥抱Prometheus：Ambari监控系统的现代化之路

admin管理员组

文章数量:1035527

【技术革新】告别AMS，拥抱Prometheus：Ambari监控系统的现代化之路

引言：一次彻底的革新

在经历了多年的 Ambari Metrics System (AMS) 痛点后，EDP 团队终于对 Ambari 的监控系统进行了一次彻底的改造。这次升级不仅仅是简单的功能优化，而是完全拥抱了 Prometheus 生态，为用户带来了全新的监控体验。

关于 Ambari Metrics 的痛点，可以看这篇文章：【技术革新】当古老的Ambari Metrics遇上现代监控：我们如何重构一个停滞不前的监控系统

所以我们决定重构 Ambari 监控，重构后的监控功能：

• 完美接入了 Prometheus 全家桶
• Prometheus 兼容的时序数据库都可以
• 内置了常用的监控大盘，拿来就能用
• 为自定义组件添加新监控，上手容易，学习门槛低

最爽的是，我们不但把原来监控的功能都给保留了，还全面升级加强了一波。现在的监控更全面、更好用、想怎么扩展就怎么扩展。

一、EDP 新旧监控介绍

1、Ambari 首页（工作台）

1）Ambari 旧版首页

实话说，Ambari Metrics 在首页的监控指标并不友好：

• 指标展示方式单一，缺乏直观性
• 自定义监控指标困难
• 大多数用户只是为了界面好看而运行 Ambari Metrics
• 添加自定义监控指标的学习门槛过高

2）Ambari EDP 新版首页

再来看下 Ambari EDP 新版首页，如下图所示：

• 默认展示"机器常用指标"
  • 存活节点数量实时展示
  • 节点启动时长监控（精确到秒级）
  • 各节点CPU使用率
  • 内存使用率
  • IO使用率
  • 磁盘使用率
  • 历史趋势图
• 支持灵活的面板定制
  • 可自定义图表类型（时序图、柱状图、饼图等）
  • 支持图表拖拽排序
  • 面板布局自适应
• 一键设置监控面板自动刷新频率
• 便捷的时间范围选择

“机器常用指标”是“仪表盘列表”的其中之一，目前还有 Hadoop、Yarn、HBase 等服务的监控仪表盘。

更多详细信息可跳转至 监控仪表盘管理 。

2、监控数据源管理

在 Ambari EDP 中，增加了监控数据源配置管理。EDP 支持很多数据源，只要是 Prometheus 兼容的数据库都可以，所以就需要这个管理界面了。

1）数据源列表

2）创建数据源

新增数据源类型“Prometheus Like”，也就是 Prometheus 兼容的数据库，支持的数据源有：

• Prometheus
• Thanos
• VictoriaMetrics（集群版/单机版）
• M3
• SLS

如下图所示：

3、监控仪表盘管理

在此页面可新增、导入、修改、克隆、导出、删除仪表盘。

点击某仪表盘，可维护该仪表盘的各图表，如下图所示：

添加图表的页面如下图所示：

也可以对已有图表进行管理（编辑、克隆、拷贝、删除等操作），如下图所示：

4、各服务中的监视页面 Metrics

1）Hadoop

在 Ambari 旧版 HDFS 监控，只能展示有限的指标，自定义指标的门槛依旧很高，缺乏历史趋势分析能力。如下图所示：

在 Ambari EDP 新版 HDFS 监控中，将指标以组件的维度进行展示，一个组件一个监控面板。并且每个监控面板的指标都非常丰富，且支持自定义图表配置。像 Prometheus + Grafana 一样的习惯配置即可。

• HDFS DataNode 监控大盘

• HDFS NameNode 系统资源监控

• HDFS 系统概览

2）YARN

• YarnNodeManager 业务监控大

• YarnResourceManager 业务监控大屏

• YarnResourceManager 系统资源监控

3）HBase

• HBaseMaster 监控大盘

• HBaseRegionServer 监控大盘

5、指标查询

可在“Metrics Query”页面查询指标值。拥有专业的查询界面

• Table 视图（实时数据展示），可显示某一时刻的值，默认是当前时间。

• Graph 视图（趋势分析），默认显示最近 1 小时（时间范围可任意选择）的该指标的历史趋势。

强大的查询功能：

• 支持复杂的 PromQL 查询
• 自动补全提示
• 查询历史记录
• 添加多个查询面板

二、总结

Ambari Metrics 监控指标不全面，自定义指标困难，监控数据不显示难排查等痛点，现如今已被 Ambari EDP 解决。Ambari EDP 通过监控数据源管理、监控仪表盘管理、指标查询、拥抱 Prometheus 生态，将 Ambari 监控功能变得更丰富、更强大！

对于熟悉 Prometheus 和 Grafana 的用户来说，新版监控系统将是一个熟悉且强大的工具。而对于新用户，完善的模板和直观的界面也能让他们快速上手。未来，我们将继续优化和增强这个系统，让它成为大数据平台运维的得力助手。

Ambari EDP 新版监控，替代了深受网友吐槽的 Ambari Metrics，拥抱了 Prometheus 生态，未来可期！

欢迎大家在评论区交流~

【技术革新】告别AMS，拥抱Prometheus：Ambari监控系统的现代化之路

引言：一次彻底的革新

在经历了多年的 Ambari Metrics System (AMS) 痛点后，EDP 团队终于对 Ambari 的监控系统进行了一次彻底的改造。这次升级不仅仅是简单的功能优化，而是完全拥抱了 Prometheus 生态，为用户带来了全新的监控体验。

关于 Ambari Metrics 的痛点，可以看这篇文章：【技术革新】当古老的Ambari Metrics遇上现代监控：我们如何重构一个停滞不前的监控系统

所以我们决定重构 Ambari 监控，重构后的监控功能：

• 完美接入了 Prometheus 全家桶
• Prometheus 兼容的时序数据库都可以
• 内置了常用的监控大盘，拿来就能用
• 为自定义组件添加新监控，上手容易，学习门槛低

最爽的是，我们不但把原来监控的功能都给保留了，还全面升级加强了一波。现在的监控更全面、更好用、想怎么扩展就怎么扩展。

一、EDP 新旧监控介绍

1、Ambari 首页（工作台）

1）Ambari 旧版首页

实话说，Ambari Metrics 在首页的监控指标并不友好：

• 指标展示方式单一，缺乏直观性
• 自定义监控指标困难
• 大多数用户只是为了界面好看而运行 Ambari Metrics
• 添加自定义监控指标的学习门槛过高

2）Ambari EDP 新版首页

再来看下 Ambari EDP 新版首页，如下图所示：

• 默认展示"机器常用指标"
  • 存活节点数量实时展示
  • 节点启动时长监控（精确到秒级）
  • 各节点CPU使用率
  • 内存使用率
  • IO使用率
  • 磁盘使用率
  • 历史趋势图
• 支持灵活的面板定制
  • 可自定义图表类型（时序图、柱状图、饼图等）
  • 支持图表拖拽排序
  • 面板布局自适应
• 一键设置监控面板自动刷新频率
• 便捷的时间范围选择

“机器常用指标”是“仪表盘列表”的其中之一，目前还有 Hadoop、Yarn、HBase 等服务的监控仪表盘。

更多详细信息可跳转至 监控仪表盘管理 。

2、监控数据源管理

在 Ambari EDP 中，增加了监控数据源配置管理。EDP 支持很多数据源，只要是 Prometheus 兼容的数据库都可以，所以就需要这个管理界面了。

1）数据源列表

2）创建数据源

新增数据源类型“Prometheus Like”，也就是 Prometheus 兼容的数据库，支持的数据源有：

• Prometheus
• Thanos
• VictoriaMetrics（集群版/单机版）
• M3
• SLS

如下图所示：

3、监控仪表盘管理

在此页面可新增、导入、修改、克隆、导出、删除仪表盘。

点击某仪表盘，可维护该仪表盘的各图表，如下图所示：

添加图表的页面如下图所示：

也可以对已有图表进行管理（编辑、克隆、拷贝、删除等操作），如下图所示：

4、各服务中的监视页面 Metrics

1）Hadoop

在 Ambari 旧版 HDFS 监控，只能展示有限的指标，自定义指标的门槛依旧很高，缺乏历史趋势分析能力。如下图所示：

在 Ambari EDP 新版 HDFS 监控中，将指标以组件的维度进行展示，一个组件一个监控面板。并且每个监控面板的指标都非常丰富，且支持自定义图表配置。像 Prometheus + Grafana 一样的习惯配置即可。

• HDFS DataNode 监控大盘

• HDFS NameNode 系统资源监控

• HDFS 系统概览

2）YARN

• YarnNodeManager 业务监控大

• YarnResourceManager 业务监控大屏

• YarnResourceManager 系统资源监控

3）HBase

• HBaseMaster 监控大盘

• HBaseRegionServer 监控大盘

5、指标查询

可在“Metrics Query”页面查询指标值。拥有专业的查询界面

• Table 视图（实时数据展示），可显示某一时刻的值，默认是当前时间。

• Graph 视图（趋势分析），默认显示最近 1 小时（时间范围可任意选择）的该指标的历史趋势。

强大的查询功能：

• 支持复杂的 PromQL 查询
• 自动补全提示
• 查询历史记录
• 添加多个查询面板

二、总结

Ambari Metrics 监控指标不全面，自定义指标困难，监控数据不显示难排查等痛点，现如今已被 Ambari EDP 解决。Ambari EDP 通过监控数据源管理、监控仪表盘管理、指标查询、拥抱 Prometheus 生态，将 Ambari 监控功能变得更丰富、更强大！

对于熟悉 Prometheus 和 Grafana 的用户来说，新版监控系统将是一个熟悉且强大的工具。而对于新用户，完善的模板和直观的界面也能让他们快速上手。未来，我们将继续优化和增强这个系统，让它成为大数据平台运维的得力助手。

Ambari EDP 新版监控，替代了深受网友吐槽的 Ambari Metrics，拥抱了 Prometheus 生态，未来可期！

欢迎大家在评论区交流~

本文标签： 技术革新告别AMS，拥抱PrometheusAmbari监控系统的现代化之路