Skip to content

Latest commit

 

History

History
18 lines (17 loc) · 1.18 KB

README.md

File metadata and controls

18 lines (17 loc) · 1.18 KB

背景:
1、因有上百的数据库实例(上万个库,一百多万个表)需要从阿里云迁移到华为云,故有了mysql-cdc-mysql,从通过flink cdc同步mysql数据库到mysql(支持全量、增量);
2、因部分表数据量比较大,报表数据查询很慢,故有了mysql-cdc-iceberg,通过flink cdc同步mysql数据到iceberg(ods层),再通过flink sql对iceberg表数据进一步清理成为dwd层等;用户界面层通过trino查询iceberg表数据供使用。

一、模块介绍

  • cdc-common
    公共代码封装(常量、工具类等)
  • mysql-cdc-iceberg
    通过flink cdc实时同步mysql数据到iceberg,支持多实例整库同步
  • mysql-cdc-mysql
    通过flink cdc实时同步mysql到mysql,源数据库实例共用数据库连接(节约资源)

二、使用的组件

名称 版本
flink 1.17.1
flink cdc 2.4.0
iceberg 1.3.0
flink-connector-jdbc 3.1.1-1.17