Skip to content

A lightweight solution to manager bigdata cluster(hadoop、hive、Doris and etc..) on kubernetes.

License

Notifications You must be signed in to change notification settings

mechaelyoung/CloudEon

 
 

Repository files navigation

CloudEon云原生大数据平台

GitHub Pull Requests HitCount Commits pre-commit All Contributors GitHub license

🌉 构建于kubernetes集群之上的大数据集群管理平台 🌉


ℹ️ 项目简介

CloudEon是一款基于kubernetes的开源大数据平台,旨在为用户提供一种简单、高效、可扩展的大数据解决方案。该平台致力于简化多种大数据服务在kubernetes上的部署和管理,如Hadoop、Doris、Spark、Flink、Hive、Kafka等,能够满足不同规模和业务需求下的大数据处理和分析需求。

🔗 文档快链

项目相关介绍,使用,最佳实践等相关内容,都会在官方文档呈现,如有疑问,请先阅读官方文档,以下列举以下常用快链。

🔍 功能特点

  • 🚀 快速搭建大数据集群:通过CloudEon,用户可以在kubernetes上快速搭建部署hadoop集群、doris集群等大数据集群,省去了手动安装和配置的繁琐过程。

  • 🐳 容器化运行所有大数据服务CloudEon将所有大数据服务都以容器方式运行,使得这些服务的部署和管理更加灵活和便捷,同时也能更好地利用kubernetes的资源调度和管理能力。

  • 📈 支持监控告警等功能CloudEon提供了监控告警等功能,帮助用户实时监控集群运行状态,及时发现和解决问题。

  • 🔧 支持配置修改等功能CloudEon还提供了配置修改等功能,使得用户能够更加灵活地管理和配置自己的大数据集群。

  • 🤖 自动化运维CloudEon通过自动化运维,能够降低集群管理的难度和人力成本,同时也能提高集群的可用性和稳定性。

  • 👀 可视化管理界面CloudEon提供了可视化的管理界面,使得用户能够更加直观地管理和监控自己的大数据集群

  • 🔌 灵活的扩展性:提供了插件机制,让用户可以自定义拓展和安装更多的大数据服务。这个插件机制是基于开放API和标准化接口实现的,可以支持用户快速开发和集成新的服务。

  • 📊 多种大数据服务支持:除了hadoop和doris,CloudEon还支持其他多种大数据服务的部署和管理,如Spark、Flink、Hive、Kyuubi等。

页面功能概览:

集群 告警
服务列表 新增服务
配置 角色实例
指令日志 指令详情

👨‍💻 开源地址

分类 GitHub Gitee
后端 https://github.com/dromara/CloudEon https://gitee.com/dromara/CloudEon
前端 https://github.com/dromara/CloudEon/tree/master/cloudeon-ui https://gitee.com/dromara/CloudEon/tree/master/cloudeon-ui
大数据组件 https://github.com/dromara/CloudEon/tree/master/cloudeon-stack https://gitee.com/dromara/CloudEon/tree/master/cloudeon-stack

🏖开源初衷

容器化设计可以很好地屏蔽操作系统细节,提高隔离性,并在构建过程中提前安装依赖的外部环境和工具,从而使得后续的服务可以在不同的服务器环境中运行。

在研究Hadoop on Kubernetes时,我们采用了helm完成了服务依赖顺序、配置关联影响和容器编排等工作。我们还整合了Doris(多Fe多Be)、DolphinScheduler、Kyuubi和Spark等服务,并实现了使用一句helm install命令即可正确启动这些相互依赖的服务。

在使用过程中,我们发现这种方法大大减少了部署时间,提高了部署大数据集群的成功率。然而,运维管理的体验不尽人意,因为使用通用型Kubernetes的管理工具来管理大数据服务是不容易的,这需要开发者掌握Pod、Service、Configmap等知识。因此,我们开发了CloudEon,并将其开源。

CloudEon致力于将大数据服务迁移到云上,并帮助大数据生态组件更好地与云原生相融合。

目前,我们没有计划支持基于主机的大数据集群部署运维,如果有需求的小伙伴,可以使用Datasophon、Ambari等优秀的开源项目。

🥰 感谢

感谢如下优秀的项目,没有这些项目,不可能会有CloudEon:

🤗 另外

  • 如果觉得项目不错,麻烦动动小手点个⭐️star⭐️!
  • 如果你还有其他想法或者需求,欢迎在issue中交流!

📝 使用登记

如果你所在公司使用了该项目,烦请在这里留下脚印,感谢支持🥳 点我

💎 优秀软件推荐

🤝 贡献者

Thanks goes to these wonderful people (emoji key):

Pandas886
Pandas886

💻
Mericol
Mericol

💻
Kyofin
Kyofin

🚇
mechaelyoung
mechaelyoung

💻

This project follows the all-contributors specification. Contributions of any kind welcome!

About

A lightweight solution to manager bigdata cluster(hadoop、hive、Doris and etc..) on kubernetes.

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • Java 39.3%
  • TypeScript 34.2%
  • FreeMarker 17.8%
  • Shell 3.5%
  • Less 3.2%
  • Dockerfile 0.7%
  • Other 1.3%