低代码数据治理脚手架

一款基于SpringBoot实现的低代码数据治理脚手架 包括不限于：数据同步、数据比对、数据归档、数据恢复能力

引入依赖

     <dependency>
        <groupId>io.github.persistencelkg</groupId>
        <artifactId>kg-ctl-core</artifactId>
        <version>1.0.3.RELEASE</version>
     </dependency>

操作步骤

参考kg-ctl-quick-start实践
wiki: 使用文档

部分效果

1. 核心代码量【手动coding行数20行以内】
2. 效果展示- 日志收集
3. 钉钉同步进度
4. Grafana 可视化监控

整体框架

功能描述

1. 面向通用数据治理，减少90%的重复冗余的数据同步工作开发
2. 精细化控制任务频次、量级甚至可以联动高低峰时段
3. 支持多维度数据同步，支持业务唯一id、时间段，包括分表
4. 提供自动check同步数据源之间表结构差异，及时感知业务变更对目的数据源的影响
5. 可视化监控告警
6. 钉钉进度同步

组件	数据源	监控	配置化	告警	部署成本
KG-CTL	主流关系型数据 => 主流关系型数据库 关系型数据库=> ES、TIDB	基于Prometheus更细粒度的任务同步、比对的进度、成功数和失败任务数，可全局查看	包括任务参数配置、动态频次控制	钉钉	1. 可直接以SDK集成在业务中 2. 单独抽离一个服务专项负责同步
canal	理论可支持任意关系型数据之间互转 关系型数据库=> ES、HBASE	只有Instance级别	只有静态配置，改动需重启	无，需要配置ELK	1.需要部署ZK 2.必须部署服务端

TODO

1. 增加数据表结构的检查
2. 增加对ES的支持

写在最后

1. 引用和复制请注明出处
2. 商用需要单独联系本人：18634185909@163.com, 任何未经授权使用视为侵权