From 543ade803f38c1250bfc623ff4aaf5d604eddd07 Mon Sep 17 00:00:00 2001 From: lance6716 Date: Tue, 27 Oct 2020 16:52:02 +0800 Subject: [PATCH 1/7] Update migrate-from-mysql-aurora.md --- zh/migrate-from-mysql-aurora.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/zh/migrate-from-mysql-aurora.md b/zh/migrate-from-mysql-aurora.md index 0dd4fdba7..cf51ab07f 100644 --- a/zh/migrate-from-mysql-aurora.md +++ b/zh/migrate-from-mysql-aurora.md @@ -187,7 +187,7 @@ tiup dmctl --master-addr 127.0.0.1:8261 operate-source create dm-test/source2.ya > **注意：** > -> 由于 Aurora 不支持 FTWRL，仅使用全量模式导出数据时需要暂停写入，参见 [AWS 官网说明](https://aws.amazon.com/cn/premiumsupport/knowledge-center/mysqldump-error-rds-mysql-mariadb/)。在示例的全量+增量模式下，DM 将自动启用 `safe mode` 解决这一问题。在其他模式下如需保证数据一致，参见 [AWS 官网说明](https://aws.amazon.com/cn/premiumsupport/knowledge-center/mysqldump-error-rds-mysql-mariadb/)操作。 +> 由于 Aurora 不支持 FTWRL，仅使用全量模式导出数据时需要暂停写入，参见 [AWS 官网说明](https://aws.amazon.com/cn/premiumsupport/knowledge-center/mysqldump-error-rds-mysql-mariadb/)。在示例的全量+增量模式下，DM 将自动启用 [`safe mode`](glossary.md#safe-mode) 解决这一问题。在其他模式下如需保证数据一致，参见 [AWS 官网说明](https://aws.amazon.com/cn/premiumsupport/knowledge-center/mysqldump-error-rds-mysql-mariadb/)操作。 本示例选择迁移 Aurora 已有数据并将新增数据实时迁移给 TiDB，即**全量+增量**模式。根据上文的 TiDB 集群信息、已添加的 `source-id`、要迁移的表，保存如下任务配置文件 `task.yaml`： From 57addb25462cf3fdc74ad60e4d175e1bf40146a7 Mon Sep 17 00:00:00 2001 From: lance6716 Date: Tue, 27 Oct 2020 17:02:11 +0800 Subject: [PATCH 2/7] Update glossary.md --- zh/glossary.md | 7 +++++-- 1 file changed, 5 insertions(+), 2 deletions(-) diff --git a/zh/glossary.md b/zh/glossary.md index 71c826f6e..50a520e21 100644 --- a/zh/glossary.md +++ b/zh/glossary.md @@ -95,9 +95,12 @@ DM-worker 内部用于从上游拉取 Binlog 并写入数据到 Relay log 的处 ### Safe mode -指增量复制过程中，用于支持在表结构中存在主键或唯一索引的条件下可重复导入 DML 的模式。 +指增量复制过程中，用于支持在表结构中存在主键或唯一索引的条件下可重复导入 DML 的模式。该模式的主要特点为将来自上游的 `INSERT` 改写为 `REPLACE`，将 `UPDATE` 改写为 `DELETE` 与 `REPLACE` 后再向下游执行。 -该模式的主要特点为将来自上游的 `INSERT` 改写为 `REPLACE`，将 `UPDATE` 改写为 `DELETE` 与 `REPLACE` 后再向下游执行。在启动或恢复增量复制任务的前 5 分钟 TiDB DM 会自动启动 Safe mode，另外也可以在任务配置文件中通过 `safe-mode` 参数手动开启。 +该模式会在满足如下任一条件时启用： +- 启动或恢复增量复制任务的前 5 分钟保持启用 +- 任务配置文件中 `safe-mode: true` 会始终启用 +- 全量迁移 Dump 处理单元配置 `--consistency none` 后，在增量复制阶段处理可能不一致的 binlog 时保持启用 ### Shard DDL From 34c78e9dcfb539d99ed659ab273fa20fadbde8df Mon Sep 17 00:00:00 2001 From: lance6716 Date: Tue, 27 Oct 2020 17:10:46 +0800 Subject: [PATCH 3/7] Update zh/glossary.md Co-authored-by: Charlotte Liu <37295236+CharLotteiu@users.noreply.github.com> --- zh/glossary.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/zh/glossary.md b/zh/glossary.md index 50a520e21..11dccb44c 100644 --- a/zh/glossary.md +++ b/zh/glossary.md @@ -99,7 +99,7 @@ DM-worker 内部用于从上游拉取 Binlog 并写入数据到 Relay log 的处 该模式会在满足如下任一条件时启用： - 启动或恢复增量复制任务的前 5 分钟保持启用 -- 任务配置文件中 `safe-mode: true` 会始终启用 +- 任务配置文件中设置 `safe-mode: true` 时会始终启用 - 全量迁移 Dump 处理单元配置 `--consistency none` 后，在增量复制阶段处理可能不一致的 binlog 时保持启用 ### Shard DDL From c2752187b3a270352a572965439050b39d6e1b24 Mon Sep 17 00:00:00 2001 From: lance6716 Date: Tue, 27 Oct 2020 17:21:35 +0800 Subject: [PATCH 4/7] Update zh/glossary.md Co-authored-by: Keke Yi <40977455+yikeke@users.noreply.github.com> --- zh/glossary.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/zh/glossary.md b/zh/glossary.md index 11dccb44c..f03b27261 100644 --- a/zh/glossary.md +++ b/zh/glossary.md @@ -95,7 +95,7 @@ DM-worker 内部用于从上游拉取 Binlog 并写入数据到 Relay log 的处 ### Safe mode -指增量复制过程中，用于支持在表结构中存在主键或唯一索引的条件下可重复导入 DML 的模式。该模式的主要特点为将来自上游的 `INSERT` 改写为 `REPLACE`，将 `UPDATE` 改写为 `DELETE` 与 `REPLACE` 后再向下游执行。 +指增量复制过程中，用于支持在表结构中存在主键或唯一索引的条件下可重复导入 DML 的模式。该模式的主要特点是：将来自上游的 `INSERT` 改写为 `REPLACE`，将 `UPDATE` 改写为 `DELETE` 与 `REPLACE` 后再向下游执行。 该模式会在满足如下任一条件时启用： - 启动或恢复增量复制任务的前 5 分钟保持启用 From f136febd1b0ce998584ce8944224a3b593f223f4 Mon Sep 17 00:00:00 2001 From: lance6716 Date: Tue, 27 Oct 2020 17:21:42 +0800 Subject: [PATCH 5/7] Update zh/glossary.md Co-authored-by: Keke Yi <40977455+yikeke@users.noreply.github.com> --- zh/glossary.md | 1 + 1 file changed, 1 insertion(+) diff --git a/zh/glossary.md b/zh/glossary.md index f03b27261..37aa9e347 100644 --- a/zh/glossary.md +++ b/zh/glossary.md @@ -98,6 +98,7 @@ DM-worker 内部用于从上游拉取 Binlog 并写入数据到 Relay log 的处 指增量复制过程中，用于支持在表结构中存在主键或唯一索引的条件下可重复导入 DML 的模式。该模式的主要特点是：将来自上游的 `INSERT` 改写为 `REPLACE`，将 `UPDATE` 改写为 `DELETE` 与 `REPLACE` 后再向下游执行。 该模式会在满足如下任一条件时启用： + - 启动或恢复增量复制任务的前 5 分钟保持启用 - 任务配置文件中设置 `safe-mode: true` 时会始终启用 - 全量迁移 Dump 处理单元配置 `--consistency none` 后，在增量复制阶段处理可能不一致的 binlog 时保持启用 From ddc5a93db40c01e20a7ef1ba187acdfec8a72783 Mon Sep 17 00:00:00 2001 From: lance6716 Date: Tue, 27 Oct 2020 17:22:00 +0800 Subject: [PATCH 6/7] Update zh/glossary.md Co-authored-by: Keke Yi <40977455+yikeke@users.noreply.github.com> --- zh/glossary.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/zh/glossary.md b/zh/glossary.md index 37aa9e347..68924ac39 100644 --- a/zh/glossary.md +++ b/zh/glossary.md @@ -101,7 +101,7 @@ DM-worker 内部用于从上游拉取 Binlog 并写入数据到 Relay log 的处 - 启动或恢复增量复制任务的前 5 分钟保持启用 - 任务配置文件中设置 `safe-mode: true` 时会始终启用 -- 全量迁移 Dump 处理单元配置 `--consistency none` 后，在增量复制阶段处理可能不一致的 binlog 时保持启用 +- 给全量迁移任务中的 dump 处理单元配置 `--consistency none` 后，在增量复制阶段处理可能不一致的 binlog 时保持启用 ### Shard DDL From fc751c2d3703e6aa3735ec82162bd2b2d66c7417 Mon Sep 17 00:00:00 2001 From: lance6716 Date: Tue, 27 Oct 2020 18:13:41 +0800 Subject: [PATCH 7/7] Update glossary.md --- zh/glossary.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/zh/glossary.md b/zh/glossary.md index 68924ac39..49bd1a50c 100644 --- a/zh/glossary.md +++ b/zh/glossary.md @@ -101,7 +101,7 @@ DM-worker 内部用于从上游拉取 Binlog 并写入数据到 Relay log 的处 - 启动或恢复增量复制任务的前 5 分钟保持启用 - 任务配置文件中设置 `safe-mode: true` 时会始终启用 -- 给全量迁移任务中的 dump 处理单元配置 `--consistency none` 后，在增量复制阶段处理可能不一致的 binlog 时保持启用 +- 在全量迁移任务中的 dump 处理单元配置 `--consistency none` 后，不能确定导出开始时的 binlog 变动是否影响了导出数据。Safe mode 会在增量复制这部分 binlog 时保持启用 ### Shard DDL