Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

zh: some mirror updates #379

Merged
merged 3 commits into from
Sep 15, 2020
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
4 changes: 2 additions & 2 deletions zh/deploy-a-dm-cluster-using-tiup.md
Original file line number Diff line number Diff line change
Expand Up @@ -146,8 +146,8 @@ tiup dm deploy dm-test v2.0.0-rc ./topology.yaml --user root [-p] [-i /home/root
- 通过 TiUP DM 部署的集群名称为 `dm-test`。
- 部署版本为 `v2.0.0-rc`,可以通过执行 `tiup list dm-master` 来查看 TiUP 支持的最新版本。
- 初始化配置文件为 `topology.yaml`。
- --user root:通过 root 用户登录到目标主机完成集群部署,该用户需要有 ssh 到目标机器的权限,并且在目标机器有 sudo 权限。也可以用其他有 ssh 和 sudo 权限的用户完成部署。
- -i-p:非必选项,如果已经配置免密登陆目标机,则不需填写,否则选择其一即可。-i 为可登录到目标机的 root 用户(或 --user 指定的其他用户)的私钥,也可使用 -p 交互式输入该用户的密码。
- `--user root`:通过 root 用户登录到目标主机完成集群部署,该用户需要有 ssh 到目标机器的权限,并且在目标机器有 sudo 权限。也可以用其他有 ssh 和 sudo 权限的用户完成部署。
- `-i``-p`:非必选项,如果已经配置免密登陆目标机,则不需填写,否则选择其一即可。`-i` 为可登录到目标机的 root 用户(或 `--user` 指定的其他用户)的私钥,也可使用 `-p` 交互式输入该用户的密码。
- TiUP DM 使用内置的 SSH 客户端,如需使用系统自带的 SSH 客户端,请参考 TiUP DM 文档中[使用中控机系统自带的 SSH 客户端连接集群](maintain-dm-using-tiup.md#使用中控机系统自带的-ssh-客户端连接集群)章节进行设置。

预期日志结尾输出会有 ```Deployed cluster `dm-test` successfully``` 关键词,表示部署成功。
Expand Down
2 changes: 1 addition & 1 deletion zh/dm-worker-intro.md
Original file line number Diff line number Diff line change
Expand Up @@ -22,7 +22,7 @@ DM-worker 任务包含如下多个逻辑处理单元。

Relay log 持久化保存从上游 MySQL 或 MariaDB 读取的 binlog,并对 binlog replication 处理单元提供读取 binlog event 的功能。

其原理和功能与 MySQL slave relay log 类似,详见 [Slave Relay Log](https://dev.mysql.com/doc/refman/5.7/en/slave-logs-relaylog.html)。
其原理和功能与 MySQL relay log 类似,详见 [MySQL Relay Log](https://dev.mysql.com/doc/refman/5.7/en/replica-logs-relaylog.html)。

### Dumper

Expand Down
2 changes: 1 addition & 1 deletion zh/glossary.md
Original file line number Diff line number Diff line change
Expand Up @@ -83,7 +83,7 @@ DM-worker 内部用于将全量导出数据导入到下游的处理单元,每

### Relay log

DM-worker 从上游 MySQL/MariaDB 拉取 Binlog 后存储在本地的文件,当前其格式为标准的 Binlog 格式,可使用版本兼容的 [mysqlbinlog](https://dev.mysql.com/doc/refman/8.0/en/mysqlbinlog.html) 等工具进行解析。其作用与 [MySQL Relay Log](https://dev.mysql.com/doc/refman/5.7/en/slave-logs-relaylog.html) 及 [MariaDB Relay Log](https://mariadb.com/kb/en/library/relay-log/) 相近。
DM-worker 从上游 MySQL/MariaDB 拉取 Binlog 后存储在本地的文件,当前其格式为标准的 Binlog 格式,可使用版本兼容的 [mysqlbinlog](https://dev.mysql.com/doc/refman/8.0/en/mysqlbinlog.html) 等工具进行解析。其作用与 [MySQL Relay Log](https://dev.mysql.com/doc/refman/5.7/en/replica-logs-relaylog.html) 及 [MariaDB Relay Log](https://mariadb.com/kb/en/library/relay-log/) 相近。

有关 TiDB DM 内 Relay log 的目录结构、初始迁移规则、数据清理等内容,可参考 [TiDB DM Relay Log](https://pingcap.com/docs-cn/stable/reference/tools/data-migration/relay-log/)。

Expand Down
10 changes: 5 additions & 5 deletions zh/key-features.md
Original file line number Diff line number Diff line change
Expand Up @@ -141,10 +141,10 @@ block-allow-list: # 如果 DM 版本 <= v2.0.0-beta.2 则使用 blac

### 参数解释

- `do-dbs`:要迁移的库的白名单,类似于 MySQL 中的 [`replicate-do-db`](https://dev.mysql.com/doc/refman/5.7/en/replication-options-slave.html#option_mysqld_replicate-do-db)。
- `ignore-dbs`:要迁移的库的黑名单,类似于 MySQL 中的 [`replicate-ignore-db`](https://dev.mysql.com/doc/refman/5.7/en/replication-options-slave.html#option_mysqld_replicate-ignore-db)。
- `do-tables`:要迁移的表的白名单,类似于 MySQL 中的 [`replicate-do-table`](https://dev.mysql.com/doc/refman/5.7/en/replication-options-slave.html#option_mysqld_replicate-do-table)。
- `ignore-tables`:要迁移的表的黑名单,类似于 MySQL 中的 [`replicate-ignore-table`](https://dev.mysql.com/doc/refman/5.7/en/replication-options-slave.html#option_mysqld_replicate-ignore-table)。
- `do-dbs`:要迁移的库的白名单,类似于 MySQL 中的 [`replicate-do-db`](https://dev.mysql.com/doc/refman/5.7/en/replication-options-replica.html#option_mysqld_replicate-do-db)。
- `ignore-dbs`:要迁移的库的黑名单,类似于 MySQL 中的 [`replicate-ignore-db`](https://dev.mysql.com/doc/refman/5.7/en/replication-options-replica.html#option_mysqld_replicate-ignore-db)。
- `do-tables`:要迁移的表的白名单,类似于 MySQL 中的 [`replicate-do-table`](https://dev.mysql.com/doc/refman/5.7/en/replication-options-replica.html#option_mysqld_replicate-do-table)。
- `ignore-tables`:要迁移的表的黑名单,类似于 MySQL 中的 [`replicate-ignore-table`](https://dev.mysql.com/doc/refman/5.7/en/replication-options-replica.html#option_mysqld_replicate-ignore-table)。

以上参数值以 `~` 开头时均支持使用[正则表达式](https://golang.org/pkg/regexp/syntax/#hdr-syntax)来匹配库名、表名。

Expand All @@ -156,7 +156,7 @@ block-allow-list: # 如果 DM 版本 <= v2.0.0-beta.2 则使用 blac
>
> DM 中黑白名单过滤规则与 MySQL 中相应规则存在以下区别:
>
> - MySQL 中存在 [`replicate-wild-do-table`](https://dev.mysql.com/doc/refman/5.7/en/replication-options-slave.html#option_mysqld_replicate-wild-do-table) 与 [`replicate-wild-ignore-table`](https://dev.mysql.com/doc/refman/5.7/en/replication-options-slave.html#option_mysqld_replicate-wild-ignore-table) 用于支持通配符,DM 中各配置参数直接支持以 `~` 字符开头的正则表达式。
> - MySQL 中存在 [`replicate-wild-do-table`](https://dev.mysql.com/doc/refman/5.7/en/replication-options-replica.html#option_mysqld_replicate-wild-do-table) 与 [`replicate-wild-ignore-table`](https://dev.mysql.com/doc/refman/5.7/en/replication-options-replica.html#option_mysqld_replicate-wild-ignore-table) 用于支持通配符,DM 中各配置参数直接支持以 `~` 字符开头的正则表达式。
> - DM 当前只支持 `ROW` 格式的 binlog,不支持 `STATEMENT`/`MIXED` 格式的 binlog,因此应与 MySQL 中 `ROW` 格式下的规则对应。
> - 对于 DDL,MySQL 仅依据默认的 database 名称(`USE` 语句显式指定的 database)进行判断,而 DM 优先依据 DDL 中的 database 名称部分进行判断,并当 DDL 中不包含 database 名称时再依据 `USE` 部分进行判断。假设需要判断的 SQL 为 `USE test_db_2; CREATE TABLE test_db_1.test_table (c1 INT PRIMARY KEY)`,且 MySQL 配置了 `replicate-do-db=test_db_1`、DM 配置了 `do-dbs: ["test_db_1"]`,则对于 MySQL 该规则不会生效,而对于 DM 该规则会生效。

Expand Down
8 changes: 8 additions & 0 deletions zh/overview.md
Original file line number Diff line number Diff line change
Expand Up @@ -61,6 +61,14 @@ dmctl 是用来控制 DM 集群的命令行工具。

当部署的 DM-worker 节点数超过上游 MySQL/MariaDB 节点数时,超出上游节点数的相关 DM-worker 节点默认将处于空闲状态。若某个 DM-worker 节点下线或与 DM-master leader 发生网络隔离,DM-master 能自动将与原 DM-worker 节点相关的数据迁移任务调度到其他空闲的 DM-worker 节点上(若原 DM-worker 节点为网络隔离状态,则其会自动停止相关的数据迁移任务);若无空闲的 DM-worker 节点可供调度,则原 DM-worker 相关的数据迁移任务将无法进行。

> **注意:**
>
> 当数据迁移任务处于全量导出或导入阶段时,该迁移任务暂不支持高可用,主要原因为:
>
> - 对于全量导出,MySQL 暂不支持指定从特定快照点导出,也就是说数据迁移任务被重新调度或重启后,无法继续从前一次中断时刻继续导出。
>
> - 对于全量导入,DM-worker 暂不支持跨节点读取全量导出数据,也就是说数据迁移任务被调度到的新 DM-worker 节点无法读取调度发生前原 DM-worker 节点上的全量导出数据。

## 迁移功能介绍

下面简单介绍 DM 数据迁移功能的核心特性。
Expand Down
1 change: 1 addition & 0 deletions zh/task-configuration-file-full.md
Original file line number Diff line number Diff line change
Expand Up @@ -42,6 +42,7 @@ target-database: # 下游数据库实例配置
port: 4000
user: "root"
password: "/Q7B9DizNLLTTfiZHv9WoEAKamfpIUs=" # 推荐使用经 dmctl 加密后的密码
max-allowed-packet: 67108864 # 设置 DM 内部连接 TiDB 服务器时,TiDB 客户端的 "max_allowed_packet" 限制(即接受的最大数据包限制),单位为字节,默认 67108864 (64 MB)
session: # 设置 TiDB 的 session 变量,在 v1.0.6 版本引入。更多变量及解释参见 `https://docs.pingcap.com/zh/tidb/stable/system-variables`
sql_mode: "ANSI_QUOTES,NO_ZERO_IN_DATE,NO_ZERO_DATE"
tidb_skip_utf8_check: 1
Expand Down