From cbb9b28a5d3a94dbf2c6ca1110e4d0ad144ce9ad Mon Sep 17 00:00:00 2001 From: amyangfei Date: Fri, 29 Mar 2019 12:54:23 +0800 Subject: [PATCH 1/5] tools: add description for task auto restore after dm-worker restart --- tools/dm/cluster-operations.md | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/tools/dm/cluster-operations.md b/tools/dm/cluster-operations.md index 57cd3b667c28..081630543887 100644 --- a/tools/dm/cluster-operations.md +++ b/tools/dm/cluster-operations.md @@ -39,7 +39,7 @@ $ ansible-playbook stop.yml **全量数据导入过程中：** -对于全量数据导入时的 SQL 文件，DM 使用下游数据库记录断点信息。DM-worker 重启时会检查断点信息。您可以使用 [`start-task` 命令](/tools/dm/practice.md#第-4-步启动任务)自动恢复数据同步。 +对于全量数据导入时的 SQL 文件，DM 使用下游数据库记录断点信息，DM-worker 会在本地文件记录任务状态。DM-worker 重启时会检查断点信息和本地记录的任务状态，重启前处于运行中状态的任务会自动恢复数据同步。 **增量数据同步过程中：** @@ -47,13 +47,13 @@ $ ansible-playbook stop.yml + 未启用 sharding DDL 同步 - 如果 DM-worker 上运行的任务未启用 sharding DDL 同步功能，DM-worker 重启时会检查断点信息。您可以使用 [`start-task` 命令](/tools/dm/practice.md#第-4-步启动任务)自动恢复数据同步。 + 如果 DM-worker 上运行的任务未启用 sharding DDL 同步功能，DM-worker 重启时会检查断点信息和本地记录的任务状态，重启前处于运行中状态的任务会自动恢复数据同步。 + 已启用 sharding DDL 同步 - DM 同步 sharding DDL 语句时，如果 DM-worker 成功执行（或跳过）sharding DDL 的 binlog event，与 DM-worker 中的 sharding DDL 语句相关的所有表的断点信息都会被更新至 DDL 语句对应的 binlog event 之后的位置。 - - 当 DM-worker 重启发在 sharding DDL 语句同步开始前或完成后，您可以使用 `start-task` 命令，根据断点信息自动恢复数据同步。 + - 当 DM-worker 重启发在 sharding DDL 语句同步开始前或完成后，DM-worker 会根据断点信息和本地记录的任务状态自动恢复数据同步。 - 当 DM-worker 重启发生在 sharding DDL 语句同步过程中，可能会出现作为 DDL lock owner 的 DM-worker 实例已执行了 DDL 语句并成功变更了下游数据库表结构，但其他 DM-worker 实例重启而无法跳过 DDL 语句也无法更新断点的情况。 From 2f57df2bcbeb4e9c45c8783d91b3f3abcab60762 Mon Sep 17 00:00:00 2001 From: Keke Yi <40977455+yikeke@users.noreply.github.com> Date: Wed, 3 Apr 2019 11:11:37 +0800 Subject: [PATCH 2/5] Update tools/dm/cluster-operations.md Co-Authored-By: amyangfei --- tools/dm/cluster-operations.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tools/dm/cluster-operations.md b/tools/dm/cluster-operations.md index 081630543887..7a69889d1371 100644 --- a/tools/dm/cluster-operations.md +++ b/tools/dm/cluster-operations.md @@ -53,7 +53,7 @@ $ ansible-playbook stop.yml - DM 同步 sharding DDL 语句时，如果 DM-worker 成功执行（或跳过）sharding DDL 的 binlog event，与 DM-worker 中的 sharding DDL 语句相关的所有表的断点信息都会被更新至 DDL 语句对应的 binlog event 之后的位置。 - - 当 DM-worker 重启发在 sharding DDL 语句同步开始前或完成后，DM-worker 会根据断点信息和本地记录的任务状态自动恢复数据同步。 + - 当 DM-worker 重启发生在 sharding DDL 语句同步开始前或完成后，DM-worker 会根据断点信息和本地记录的任务状态自动恢复数据同步。 - 当 DM-worker 重启发生在 sharding DDL 语句同步过程中，可能会出现作为 DDL lock owner 的 DM-worker 实例已执行了 DDL 语句并成功变更了下游数据库表结构，但其他 DM-worker 实例重启而无法跳过 DDL 语句也无法更新断点的情况。 From a6436fc5185cd25eaa3f1c7353ffa30015fa9d31 Mon Sep 17 00:00:00 2001 From: Ian Date: Wed, 3 Apr 2019 13:52:30 +0800 Subject: [PATCH 3/5] Update tools/dm/cluster-operations.md Co-Authored-By: amyangfei --- tools/dm/cluster-operations.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tools/dm/cluster-operations.md b/tools/dm/cluster-operations.md index 7a69889d1371..448d9630590d 100644 --- a/tools/dm/cluster-operations.md +++ b/tools/dm/cluster-operations.md @@ -39,7 +39,7 @@ $ ansible-playbook stop.yml **全量数据导入过程中：** -对于全量数据导入时的 SQL 文件，DM 使用下游数据库记录断点信息，DM-worker 会在本地文件记录任务状态。DM-worker 重启时会检查断点信息和本地记录的任务状态，重启前处于运行中状态的任务会自动恢复数据同步。 +对于全量数据导入时的 SQL 文件，DM 使用下游数据库记录断点信息，DM-worker 会在本地 meta 文件记录子任务信息。DM-worker 重启时会检查断点信息和本地记录的子任务信息，重启前处于运行中状态的任务会自动恢复数据同步。 **增量数据同步过程中：** From 6d5bc1046b2a314f4d072ae3350f407d663c9c70 Mon Sep 17 00:00:00 2001 From: Ian Date: Wed, 3 Apr 2019 13:52:39 +0800 Subject: [PATCH 4/5] Update tools/dm/cluster-operations.md Co-Authored-By: amyangfei --- tools/dm/cluster-operations.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tools/dm/cluster-operations.md b/tools/dm/cluster-operations.md index 448d9630590d..201fe77b2728 100644 --- a/tools/dm/cluster-operations.md +++ b/tools/dm/cluster-operations.md @@ -47,7 +47,7 @@ $ ansible-playbook stop.yml + 未启用 sharding DDL 同步 - 如果 DM-worker 上运行的任务未启用 sharding DDL 同步功能，DM-worker 重启时会检查断点信息和本地记录的任务状态，重启前处于运行中状态的任务会自动恢复数据同步。 + 如果 DM-worker 上运行的任务未启用 sharding DDL 同步功能，DM-worker 重启时会检查断点信息和本地记录的子任务信息，重启前处于运行中状态的任务会自动恢复数据同步。 + 已启用 sharding DDL 同步 From 7fdcb32bc1f44c6d24d1f74bfd3b1fd1eba750dc Mon Sep 17 00:00:00 2001 From: Ian Date: Wed, 3 Apr 2019 13:52:46 +0800 Subject: [PATCH 5/5] Update tools/dm/cluster-operations.md Co-Authored-By: amyangfei --- tools/dm/cluster-operations.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tools/dm/cluster-operations.md b/tools/dm/cluster-operations.md index 201fe77b2728..d8045ca4f17a 100644 --- a/tools/dm/cluster-operations.md +++ b/tools/dm/cluster-operations.md @@ -53,7 +53,7 @@ $ ansible-playbook stop.yml - DM 同步 sharding DDL 语句时，如果 DM-worker 成功执行（或跳过）sharding DDL 的 binlog event，与 DM-worker 中的 sharding DDL 语句相关的所有表的断点信息都会被更新至 DDL 语句对应的 binlog event 之后的位置。 - - 当 DM-worker 重启发生在 sharding DDL 语句同步开始前或完成后，DM-worker 会根据断点信息和本地记录的任务状态自动恢复数据同步。 + - 当 DM-worker 重启发生在 sharding DDL 语句同步开始前或完成后，DM-worker 会根据断点信息和本地记录的子任务信息自动恢复数据同步。 - 当 DM-worker 重启发生在 sharding DDL 语句同步过程中，可能会出现作为 DDL lock owner 的 DM-worker 实例已执行了 DDL 语句并成功变更了下游数据库表结构，但其他 DM-worker 实例重启而无法跳过 DDL 语句也无法更新断点的情况。