背景:
1、因有上百的数据库实例(上万个库,一百多万个表)需要从阿里云迁移到华为云,故有了mysql-cdc-mysql,从通过flink cdc同步mysql数据库到mysql(支持全量、增量);
2、因部分表数据量比较大,报表数据查询很慢,故有了mysql-cdc-iceberg,通过flink cdc同步mysql数据到iceberg(ods层),再通过flink sql对iceberg表数据进一步清理成为dwd层等;用户界面层通过trino查询iceberg表数据供使用。
- cdc-common
公共代码封装(常量、工具类等) - mysql-cdc-iceberg
通过flink cdc实时同步mysql数据到iceberg,支持多实例整库同步 - mysql-cdc-mysql
通过flink cdc实时同步mysql到mysql,源数据库实例共用数据库连接(节约资源)
名称 | 版本 |
---|---|
flink | 1.17.1 |
flink cdc | 2.4.0 |
iceberg | 1.3.0 |
flink-connector-jdbc | 3.1.1-1.17 |