链接:
GitCode - 全球开发者的开源社区,开源代码托管平台

简介

类似与 Apache Ambari 和CDH 一样的,大数据组件管理监控工具

Bigtop Manager 基于 Apache Bigtop 相关的工具。
Apache Bigtop 是一个用于开发、打包、 测试和部署 Hadoop 及其相关生态系统组件的项目。
Bigtop Manager 主要用于管理 Bigtop 部署的集群，包括大数据组件的安装、配置管理、服务启动和停止等操作**

Apache Bigtop:主要用于对 Hadoop 生态系统进行集成测试、打包和部署。
它的目标是提供一个统一的框架，确保 Hadoop 及其相关组件（如 Hive、Pig、Spark、HBase 等）能够稳定、高效地协同工作。

Ambari :基于 Web 的工具，支持 Apache Hadoop 集群的供应、管理和监控,能够提供 大数据组件的安装,监控,维护.
缺点:因为前期开发冗余,可拓展性比较差

CDH:商业化的 大数据组件管理,监控软件
缺点付费

架构图

image.png

sever端: 统一管理

Agent: 管理当前节点, 资源监控,任务运行等. 每个集群节点都有一个

代码结构

image.png

Agent: 管理当前节点, 资源监控,任务运行等. 每个集群节点都有一个
bom: 用于管理第三方依赖,当前包的pom文件
common: 工具类,常量等
dao:用于操作数据库的
grpc: server和agent的交流是通过 grpc. 新版本删掉了, 应该是和 server合并了
用于存放 proto buffer3的文件,根据其生成对应的java代码
概述 · protocol buffer3学习笔记 (gitbooks.io)
srever:统一管理
spi:暂时不用管
stack

• bigtop: 在安装具体集群的时候,需要指定对应集群的版本,目前最主要的是bigtop, bigtop是解决完成对应依赖的模块 ,目前完成的有 kafka,yarn,zoookeeper,hdfs
• nop: 主要用于测试用的
• common: 公共类,工具类
• core: 核心代码

image.png

ui:vue3+md4
node -v 18
pnpm -v 8

根目录的pom文件: 用于自己的可拓展

如何开发

image.png

主要开发
AgentApplication
ServerApplication

image.png

image.png