diff --git a/dev/how-to/monitor/monitor-a-cluster.md b/dev/how-to/monitor/monitor-a-cluster.md index 1f798eb646f9..bc34a0a007f1 100644 --- a/dev/how-to/monitor/monitor-a-cluster.md +++ b/dev/how-to/monitor/monitor-a-cluster.md @@ -5,182 +5,315 @@ category: how-to # TiDB 集群监控 -TiDB 集群状态监控目前有两种接口,第一种是通过 HTTP 接口对外汇报组件的信息,我们称之为组件的状态接口;第二种是使用 prometheus 记录组件中各种操作的详细信息,我们称之为 metrics 接口。 +TiDB 提供了以下两种接口来监控集群状态: -## 组件状态接口 +- [状态接口](#使用状态接口):通过 HTTP 接口对外汇报组件的信息。 +- [Metrics 接口](#使用-metrics-接口):使用 Prometheus 记录组件中各种操作的详细信息,使用 Grafana 进行可视化展示。 -这类接口可以获取组件的一些基本信息,并且可以作为 keepalive 监测接口。另外 PD 的接口可以看到整个 TiKV 集群的详细信息。 +## 使用状态接口 -### TiDB Server +状态接口用于监控组件的一些基本信息,并且可以作为 keepalive 的监测接口。另外,通过 PD 的状态接口可以看到整个 TiKV 集群的详细信息。 -TiDB API 地址:`http://${host}:${port}`。 +### TiDB Server -其中 port 默认为 10080,各类 `api_name` 详细信息参见 [TiDB API Doc](https://github.com/pingcap/tidb/blob/master/docs/tidb_http_api.md)。 +- TiDB API 地址:`http://${host}:${port}` +- 默认端口:10080 +- 各类 `api_name` 详细信息:参见 [TiDB API 文档](https://github.com/pingcap/tidb/blob/master/docs/tidb_http_api.md) -下面示例中,通过访问 `http://${host}:${port}/status` 获取当前 TiDB Server 的状态,以及判断是否存活。返回结果为 **Json** 格式: +以下示例中,通过访问 `http://${host}:${port}/status` 获取当前 TiDB Server 的状态,并判断该 TiDB Server 是否存活。结果以 **JSON** 格式返回: ```bash curl http://127.0.0.1:10080/status { - connections: 0, - version: "5.5.31-TiDB-1.0", - git_hash: "b99521846ff6f71f06e2d49a3f98fa1c1d93d91b" + connections: 0, # 当前 TiDB Server 上的客户端连接数 + version: "5.7.25-TiDB-v3.0.0-beta-250-g778c3f4a5", # TiDB 版本号 + git_hash: "778c3f4a5a716880bcd1d71b257c8165685f0d70" # TiDB 当前代码的 Git Hash } ``` -+ `connections`:当前 TiDB Server 上的客户端连接数 - + `version`:TiDB 版本号 - + `git_hash`:TiDB 当前代码的 Git Hash - ### PD Server -PD API 地址:`http://${host}:${port}/pd/api/v1/${api_name}`。 - -其中 port 默认为 2379,各类 api_name 详细信息参见 [PD API Doc](https://download.pingcap.com/pd-api-v1.html)。 +- PD API 地址:`http://${host}:${port}/pd/api/v1/${api_name}` +- 默认端口:2379 +- 各类 `api_name` 详细信息:参见 [PD API Doc](https://cdn.rawgit.com/pingcap/docs/master/op-guide/pd-api-v1.html) -通过这个接口可以获取当前所有 TiKV 的状态以及负载均衡信息。其中最重要也是最常用的接口获取 TiKV 集群所有节点状态的接口,下面以一个单个 TiKV 构成的集群为例,说明一些用户需要了解的信息: +通过该接口可以获取当前所有 TiKV 节点的状态以及负载均衡信息。下面以一个单节点的 TiKV 集群为例,说明用户需要了解的信息: ```bash curl http://127.0.0.1:2379/pd/api/v1/stores { - "count": 1, TiKV 节点数量 - "stores": [ // TiKV 节点的列表 - // 下面列出的是这个集群中单个 TiKV 节点的信息 - { + "count": 1, # TiKV 节点数量 + "stores": [ # TiKV 节点的列表 + # 集群中单个 TiKV 节点的信息 + { "store": { "id": 1, - "address": "127.0.0.1:22161", - "state": 0 + "address": "127.0.0.1:20160", + "version": "3.0.0-beta", + "state_name": "Up" }, "status": { - "store_id": 1, // 节点的 ID - "capacity": 1968874332160, // 存储总容量 - "available": 1264847716352, // 存储剩余容量 - "region_count": 1, // 该节点上存放的 Region 数量 - "sending_snap_count": 0, - "receiving_snap_count": 0, - "start_ts": "2016-10-24T19:54:00.110728339+08:00", // 启动时间 - "last_heartbeat_ts": "2016-10-25T10:52:54.973669928+08:00", // 最后一次心跳时间 - "total_region_count": 1, // 总 Region 数量 - "leader_region_count": 1, // Leader Region 数量 - "uptime": "14h58m54.862941589s" - }, - "scores": [ - 100, - 35 - ] + "capacity": "20 GiB", # 存储总容量 + "available": "16 GiB", # 存储剩余容量 + "leader_count": 17, + "leader_weight": 1, + "leader_score": 17, + "leader_size": 17, + "region_count": 17, + "region_weight": 1, + "region_score": 17, + "region_size": 17, + "start_ts": "2019-03-21T14:09:32+08:00", # 启动时间 + "last_heartbeat_ts": "2019-03-21T14:14:22.961171958+08:00", # 最后一次心跳的时间 + "uptime": "4m50.961171958s" + } } ] -} ``` -## Metrics 监控 +## 使用 metrics 接口 -这部分主要对整个集群的状态、性能做监控,通过 Prometheus+Grafana 展现 metrics 数据,在下面一节会介绍如何搭建监控系统。 +Metrics 接口用于监控整个集群的状态和性能。 -### TiDB Server +- 如果使用 TiDB-Ansible 部署 TiDB 集群,监控系统(Prometheus 和 Grafana)会同时部署。 +- 如果使用其他方式部署 TiDB 集群,在使用 metrics 接口前,需先[部署 Prometheus 和 Grafana](#部署-prometheus-和-grafana)。 -+ query 处理时间,可以看到延迟和吞吐 -+ ddl 过程监控 -+ TiKV client 相关的监控 -+ PD client 相关的监控 +成功部署 Prometheus 和 Grafana 之后,[配置 Grafana](#配置-grafana)。 -### PD Server +### 部署 Prometheus 和 Grafana -+ 命令执行的总次数 -+ 某个命令执行失败的总次数 -+ 某个命令执行成功的耗时统计 -+ 某个命令执行失败的耗时统计 -+ 某个命令执行完成并返回结果的耗时统计 +假设 TiDB 的拓扑结构如下: -### TiKV Server +| 节点 | 主机 IP | 服务 | +| :-- | :-- | :-------------- | +| Node1 | 192.168.199.113| PD1, TiDB, node_export, Prometheus, Grafana | +| Node2 | 192.168.199.114| PD2, node_export | +| Node3 | 192.168.199.115| PD3, node_export | +| Node4 | 192.168.199.116| TiKV1, node_export | +| Node5 | 192.168.199.117| TiKV2, node_export | +| Node6 | 192.168.199.118| TiKV3, node_export | -+ GC 监控 -+ 执行 KV 命令的总次数 -+ Scheduler 执行命令的耗时统计 -+ Raft propose 命令的总次数 -+ Raft 执行命令的耗时统计 -+ Raft 执行命令失败的总次数 -+ Raft 处理 ready 状态的总次数 +#### 第 1 步:下载二进制包 -## 使用 Prometheus+Grafana +```bash +# 下载二进制包 +$ wget https://github.com/prometheus/prometheus/releases/download/v2.2.1/prometheus-2.2.1.linux-amd64.tar.gz +$ wget https://github.com/prometheus/node_exporter/releases/download/v0.15.2/node_exporter-0.15.2.linux-amd64.tar.gz +$ wget https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-4.6.3.linux-x64.tar.gz + +# 解压二进制包 +$ tar -xzf prometheus-2.2.1.linux-amd64.tar.gz +$ tar -xzf node_exporter-0.15.2.linux-amd64.tar.gz +$ tar -xzf grafana-4.6.3.linux-x64.tar.gz +``` -### 部署架构 +#### 第 2 步:在 Node1,Node2,Node3,Node4 上启动 `node_exporter` -整个架构如下图所示,在 TiDB/PD/TiKV 三个组件的启动参数中添加 Prometheus Pushgateway 地址: +```bash +$ cd node_exporter-0.15.2.linux-amd64 -![Deployment Architecture](/media/monitor-architecture.png) +# 启动 node_exporter 服务 +$ ./node_exporter --web.listen-address=":9100" \ + --log.level="info" & +``` -### 搭建监控系统 +#### 第 3 步:在 Node1 上启动 Prometheus + +编辑 Prometheus 的配置文件: + +```yml +$ cd prometheus-2.2.1.linux-amd64 +$ vi prometheus.yml + +... + +global: + scrape_interval: 15s + evaluation_interval: 15s + # scrape_timeout 设置为全局默认值 (10s) + external_labels: + cluster: 'test-cluster' + monitor: "prometheus" + +scrape_configs: + - job_name: 'overwritten-nodes' + honor_labels: true # 不要覆盖 job 和实例的 label + static_configs: + - targets: + - '192.168.199.113:9100' + - '192.168.199.114:9100' + - '192.168.199.115:9100' + - '192.168.199.116:9100' + - '192.168.199.117:9100' + - '192.168.199.118:9100' + + - job_name: 'tidb' + honor_labels: true # 不要覆盖 job 和实例的 label + static_configs: + - targets: + - '192.168.199.113:10080' + + - job_name: 'pd' + honor_labels: true # 不要覆盖 job 和实例的 label + static_configs: + - targets: + - '192.168.199.113:2379' + - '192.168.199.114:2379' + - '192.168.199.115:2379' + + - job_name: 'tikv' + honor_labels: true # 不要覆盖 job 和实例的 label + static_configs: + - targets: + - '192.168.199.116:20180' + - '192.168.199.117:20180' + - '192.168.199.118:20180' + +... -- Prometheus Push Gateway 参考:https://github.com/prometheus/pushgateway -- Prometheus Server 参考:https://github.com/prometheus/prometheus#install -- Grafana 参考:http://docs.grafana.org +``` -### 配置 +启动 Grafana 服务: -#### TiDB/PD/TiKV 配置 +```bash +$ ./prometheus \ + --config.file="./prometheus.yml" \ + --web.listen-address=":9090" \ + --web.external-url="http://192.168.199.113:9090/" \ + --web.enable-admin-api \ + --log.level="info" \ + --storage.tsdb.path="./data.metrics" \ + --storage.tsdb.retention="15d" & +``` -+ TiDB +#### 第 4 步:在 Node1 上启动 Grafana + +编辑 Grafana 的配置文件: + +```ini +$ cd grafana-4.6.3 +$ vi conf/grafana.ini + +... + +[paths] +data = ./data +logs = ./data/log +plugins = ./data/plugins +[server] +http_port = 3000 +domain = 192.168.199.113 +[database] +[session] +[analytics] +check_for_updates = true +[security] +admin_user = admin +admin_password = admin +[snapshots] +[users] +[auth.anonymous] +[auth.basic] +[auth.ldap] +[smtp] +[emails] +[log] +mode = file +[log.console] +[log.file] +level = info +format = text +[log.syslog] +[event_publisher] +[dashboards.json] +enabled = false +path = ./data/dashboards +[metrics] +[grafana_net] +url = https://grafana.net + +... - 设置 \-\-metrics-addr 和 \-\-metrics-interval 两个参数,其中 metrics-addr 设为 Push Gateway 的地址,metrics-interval 为 push 的频率,单位为秒,默认值为 15 +``` -+ PD +启动 Grafana 服务: - 修改 toml 配置文件,填写 Push Gateway 的地址和推送频率 +```bash +$ ./bin/grafana-server \ + --config="./conf/grafana.ini" & +``` - ```toml - [metric] - # prometheus client push interval, set "0s" to disable prometheus. - interval = "15s" - # prometheus pushgateway address, leaves it empty will disable prometheus. - address = "host:port" - ``` +### 配置 Grafana -+ TiKV +本小节介绍如何配置 Grafana。 - 修改 toml 配置文件,填写 Push Gateway 的地址和推送频率,job 字段一般设为“tikv”。 +#### 第 1 步:添加 Prometheus 数据源 - ```toml - [metric] - # the Prometheus client push interval. Setting the value to 0s stops Prometheus client from pushing. - interval = "15s" - # the Prometheus pushgateway address. Leaving it empty stops Prometheus client from pushing. - address = "host:port" - # the Prometheus client push job name. Note: A node id will automatically append, e.g., "tikv_1". - job = "tikv" - ``` +1. 登录 Grafana 界面。 -#### PushServer 配置 + - 默认地址:http://localhost:3000 + - 默认账户:admin + - 默认密码:admin -一般无需特殊配置,使用默认端口 9091 即可 +2. 点击 Grafana 图标打开侧边栏。 -#### Prometheus 配置 +3. 在侧边栏菜单中,点击 **Data Source**。 -在 yaml 配置文件中添加 Push Gateway 地址: +4. 点击 **Add data source**。 -```yaml - scrape_configs: -# The job name is added as a label `job=` to any timeseries scraped from this config. -- job_name: 'TiDB' +5. 指定数据源的相关信息: - # Override the global default and scrape targets from this job every 5 seconds. - scrape_interval: 5s + - 在 **Name** 处,为数据源指定一个名称。 + - 在 **Type** 处,选择 **Prometheus**。 + - 在 **URL** 处,指定 Prometheus 的 IP 地址。 + - 根据需求指定其它字段。 - honor_labels: true +6. 点击 **Add** 保存新的数据源。 - static_configs: - - targets: ['host:port'] # use the Push Gateway address -labels: - group: 'production' -``` +#### 第 2 步:导入 Grafana 面板 + +执行以下步骤,为 PD Server、TiKV Server 和 TiDB Server 分别导入 Grafana 面板: + +1. 点击侧边栏的 Grafana 图标。 + +2. 在侧边栏菜单中,依次点击 **Dashboards** > **Import** 打开 **Import Dashboard** 窗口。 + +3. 点击 **Upload .json File** 上传对应的 JSON 文件(下载 [TiDB Grafana 配置文件](https://github.com/pingcap/tidb-ansible/tree/master/scripts))。 + + > **注意**:TiKV、PD 和 TiDB 面板对应的 JSON 文件分别为 `tikv_pull.json`,`pd.json`,`tidb.json`。 + +4. 点击 **Load**。 + +5. 选择一个 Prometheus 数据源。 + +6. 点击 **Import**,Prometheus 面板即导入成功。 + +### 查看组件 metrics + +在顶部菜单中,点击 **New dashboard**,选择要查看的面板。 -#### Grafana 配置 +![view dashboard](../media/view-dashboard.png) -+ 进入 Grafana Web 界面(默认地址: http://localhost:3000 ,默认账号: admin 密码: admin) +可查看以下集群组件信息: - 点击 Grafana Logo -> 点击 Data Sources -> 点击 Add data source -> 填写 data source 信息 ( 注: Type 选 Prometheus,Url 为 Prometheus 地址,其他根据实际情况填写 ) ++ **TiDB Server:** + + query 处理时间,可以看到延迟和吞吐 + + ddl 过程监控 + + TiKV client 相关的监控 + + PD client 相关的监控 -+ 导入 dashboard 配置文件 ++ **PD Server:** + + 命令执行的总次数 + + 某个命令执行失败的总次数 + + 某个命令执行成功的耗时统计 + + 某个命令执行失败的耗时统计 + + 某个命令执行完成并返回结果的耗时统计 - 点击 Grafana Logo -> 点击 Dashboards -> 点击 Import -> 选择需要的 Dashboard [配置文件](https://grafana.com/tidb)上传 -> 选择对应的 data source ++ **TiKV Server:** + + GC 监控 + + 执行 KV 命令的总次数 + + Scheduler 执行命令的耗时统计 + + Raft propose 命令的总次数 + + Raft 执行命令的耗时统计 + + Raft 执行命令失败的总次数 + + Raft 处理 ready 状态的总次数 diff --git a/dev/how-to/monitor/overview.md b/dev/how-to/monitor/overview.md index 6048ea296024..a23871517f14 100644 --- a/dev/how-to/monitor/overview.md +++ b/dev/how-to/monitor/overview.md @@ -5,14 +5,24 @@ category: how-to # TiDB 监控框架概述 -TiDB 使用开源时序数据库 Prometheus 作为监控和性能指标信息存储方案,使用 Grafana 作为可视化组件进行展示。 +TiDB 使用开源时序数据库 [Prometheus](https://prometheus.io) 作为监控和性能指标信息存储方案,使用 [Grafana](https://grafana.com/grafana) 作为可视化组件进行展示。 -Prometheus 是一个拥有多维度数据模型,灵活的查询语句的时序数据库。Prometheus 作为热门的开源项目,拥有活跃的社区及众多的成功案例。 +## Prometheus 在 TiDB 中的应用 -Prometheus 提供了多个组件供用户使用。目前,我们使用 Prometheus Server,来收集和存储时间序列数据。Client 代码库,在程序中定制需要的 Metric 。Push GateWay 来接收 Client Push 上来的数据,统一供 Prometheus 主服务器抓取。以及 AlertManager 来实现报警机制。其结构如下图: +Prometheus 是一个拥有多维度数据模型的、灵活的查询语句的时序数据库。Prometheus 作为热门的开源项目,拥有活跃的社区及众多的成功案例。 + +Prometheus 提供了多个组件供用户使用。目前,TiDB 使用了以下组件: + +- Prometheus Server:用于收集和存储时间序列数据。 +- Client 代码库:用于定制程序中需要的 Metric。 +- Alertmanager:用于实现报警机制。 + +其结构如下图所示: ![Prometheus in TiDB](/media/prometheus-in-tidb.png) -Grafana 是一个开源的 metric 分析及可视化系统。我们使用 Grafana 来展示 TiDB 的各项性能指标 。如下图所示: +## Grafana 在 TiDB 中的应用 + +Grafana 是一个开源的 metric 分析及可视化系统。TiDB 使用 Grafana 来展示 TiDB 的各项性能指标。如下图所示: -![Grafana Screeshot](/media/grafana-screenshot.png) \ No newline at end of file +![Grafana in TiDB](/media/grafana-screenshot.png) diff --git a/media/grafana-screenshot-v2.1.png b/media/grafana-screenshot-v2.1.png new file mode 100755 index 000000000000..2e442f4e5cb1 Binary files /dev/null and b/media/grafana-screenshot-v2.1.png differ diff --git a/media/prometheus-in-tidb-v2.1.png b/media/prometheus-in-tidb-v2.1.png new file mode 100755 index 000000000000..757c5a6d2e47 Binary files /dev/null and b/media/prometheus-in-tidb-v2.1.png differ diff --git a/media/prometheus-in-tidb.png b/media/prometheus-in-tidb.png index 757c5a6d2e47..1838321677d8 100644 Binary files a/media/prometheus-in-tidb.png and b/media/prometheus-in-tidb.png differ diff --git a/media/view-dashboard.png b/media/view-dashboard.png new file mode 100644 index 000000000000..9ffa672720a7 Binary files /dev/null and b/media/view-dashboard.png differ diff --git a/v2.1-legacy/op-guide/monitor-overview.md b/v2.1-legacy/op-guide/monitor-overview.md index f719103662bf..cafcb4b6da92 100755 --- a/v2.1-legacy/op-guide/monitor-overview.md +++ b/v2.1-legacy/op-guide/monitor-overview.md @@ -13,6 +13,6 @@ Prometheus 提供了多个组件供用户使用。目前,我们使用 Promethe ![Prometheus in TiDB](../media/prometheus-in-tidb.png) -Grafana 是一个开源的 metric 分析及可视化系统。我们使用 Grafana 来展示 TiDB 的各项性能指标 。如下图所示: +Grafana 是一个开源的 metric 分析及可视化系统。我们使用 Grafana 来展示 TiDB 的各项性能指标。如下图所示: -![Grafana Screeshot](../media/grafana-screenshot.png) \ No newline at end of file +![Grafana Screeshot](../media/grafana-screenshot.png) diff --git a/v2.1/how-to/monitor/overview.md b/v2.1/how-to/monitor/overview.md index 6048ea296024..326adbfd28e5 100644 --- a/v2.1/how-to/monitor/overview.md +++ b/v2.1/how-to/monitor/overview.md @@ -1,6 +1,6 @@ --- title: TiDB 监控框架概述 -category: how-to +category: monitoring --- # TiDB 监控框架概述 @@ -11,8 +11,8 @@ Prometheus 是一个拥有多维度数据模型,灵活的查询语句的时序 Prometheus 提供了多个组件供用户使用。目前,我们使用 Prometheus Server,来收集和存储时间序列数据。Client 代码库,在程序中定制需要的 Metric 。Push GateWay 来接收 Client Push 上来的数据,统一供 Prometheus 主服务器抓取。以及 AlertManager 来实现报警机制。其结构如下图: -![Prometheus in TiDB](/media/prometheus-in-tidb.png) +![Prometheus in TiDB](/media/prometheus-in-tidb-v2.1.png) -Grafana 是一个开源的 metric 分析及可视化系统。我们使用 Grafana 来展示 TiDB 的各项性能指标 。如下图所示: +Grafana 是一个开源的 metric 分析及可视化系统。我们使用 Grafana 来展示 TiDB 的各项性能指标。如下图所示: -![Grafana Screeshot](/media/grafana-screenshot.png) \ No newline at end of file +![Grafana Screeshot](/media/grafana-screenshot-v2.1.png) diff --git a/v3.0/how-to/monitor/monitor-a-cluster.md b/v3.0/how-to/monitor/monitor-a-cluster.md index 82f8265bc490..a3ed6933121d 100644 --- a/v3.0/how-to/monitor/monitor-a-cluster.md +++ b/v3.0/how-to/monitor/monitor-a-cluster.md @@ -6,182 +6,316 @@ aliases: ['/docs-cn/op-guide/monitor/'] # TiDB 集群监控 -TiDB 集群状态监控目前有两种接口,第一种是通过 HTTP 接口对外汇报组件的信息,我们称之为组件的状态接口;第二种是使用 prometheus 记录组件中各种操作的详细信息,我们称之为 metrics 接口。 +TiDB 提供了以下两种接口来监控集群状态: -## 组件状态接口 +- [状态接口](#使用状态接口):通过 HTTP 接口对外汇报组件的信息。 +- [Metrics 接口](#使用-metrics-接口):使用 Prometheus 记录组件中各种操作的详细信息,使用 Grafana 进行可视化展示。 -这类接口可以获取组件的一些基本信息,并且可以作为 keepalive 监测接口。另外 PD 的接口可以看到整个 TiKV 集群的详细信息。 +## 使用状态接口 -### TiDB Server +状态接口用于监控组件的一些基本信息,并且可以作为 keepalive 的监测接口。另外,通过 PD 的状态接口可以看到整个 TiKV 集群的详细信息。 -TiDB API 地址:`http://${host}:${port}`。 +### TiDB Server -其中 port 默认为 10080,各类 `api_name` 详细信息参见 [TiDB API Doc](https://github.com/pingcap/tidb/blob/master/docs/tidb_http_api.md)。 +- TiDB API 地址:`http://${host}:${port}` +- 默认端口:10080 +- 各类 `api_name` 详细信息:参见 [TiDB API 文档](https://github.com/pingcap/tidb/blob/master/docs/tidb_http_api.md) -下面示例中,通过访问 `http://${host}:${port}/status` 获取当前 TiDB Server 的状态,以及判断是否存活。返回结果为 **Json** 格式: +以下示例中,通过访问 `http://${host}:${port}/status` 获取当前 TiDB Server 的状态,并判断该 TiDB Server 是否存活。结果以 **JSON** 格式返回: ```bash curl http://127.0.0.1:10080/status { - connections: 0, - version: "5.5.31-TiDB-1.0", - git_hash: "b99521846ff6f71f06e2d49a3f98fa1c1d93d91b" + connections: 0, # 当前 TiDB Server 上的客户端连接数 + version: "5.7.25-TiDB-v3.0.0-beta-250-g778c3f4a5", # TiDB 版本号 + git_hash: "778c3f4a5a716880bcd1d71b257c8165685f0d70" # TiDB 当前代码的 Git Hash } ``` -+ `connections`:当前 TiDB Server 上的客户端连接数 - + `version`:TiDB 版本号 - + `git_hash`:TiDB 当前代码的 Git Hash - ### PD Server -PD API 地址:`http://${host}:${port}/pd/api/v1/${api_name}`。 - -其中 port 默认为 2379,各类 api_name 详细信息参见 [PD API Doc](https://download.pingcap.com/pd-api-v1.html)。 +- PD API 地址:`http://${host}:${port}/pd/api/v1/${api_name}` +- 默认端口:2379 +- 各类 `api_name` 详细信息:参见 [PD API Doc](https://cdn.rawgit.com/pingcap/docs/master/op-guide/pd-api-v1.html) -通过这个接口可以获取当前所有 TiKV 的状态以及负载均衡信息。其中最重要也是最常用的接口获取 TiKV 集群所有节点状态的接口,下面以一个单个 TiKV 构成的集群为例,说明一些用户需要了解的信息: +通过该接口可以获取当前所有 TiKV 节点的状态以及负载均衡信息。下面以一个单节点的 TiKV 集群为例,说明用户需要了解的信息: ```bash curl http://127.0.0.1:2379/pd/api/v1/stores { - "count": 1, TiKV 节点数量 - "stores": [ // TiKV 节点的列表 - // 下面列出的是这个集群中单个 TiKV 节点的信息 - { + "count": 1, # TiKV 节点数量 + "stores": [ # TiKV 节点的列表 + # 集群中单个 TiKV 节点的信息 + { "store": { "id": 1, - "address": "127.0.0.1:22161", - "state": 0 + "address": "127.0.0.1:20160", + "version": "3.0.0-beta", + "state_name": "Up" }, "status": { - "store_id": 1, // 节点的 ID - "capacity": 1968874332160, // 存储总容量 - "available": 1264847716352, // 存储剩余容量 - "region_count": 1, // 该节点上存放的 Region 数量 - "sending_snap_count": 0, - "receiving_snap_count": 0, - "start_ts": "2016-10-24T19:54:00.110728339+08:00", // 启动时间 - "last_heartbeat_ts": "2016-10-25T10:52:54.973669928+08:00", // 最后一次心跳时间 - "total_region_count": 1, // 总 Region 数量 - "leader_region_count": 1, // Leader Region 数量 - "uptime": "14h58m54.862941589s" - }, - "scores": [ - 100, - 35 - ] + "capacity": "20 GiB", # 存储总容量 + "available": "16 GiB", # 存储剩余容量 + "leader_count": 17, + "leader_weight": 1, + "leader_score": 17, + "leader_size": 17, + "region_count": 17, + "region_weight": 1, + "region_score": 17, + "region_size": 17, + "start_ts": "2019-03-21T14:09:32+08:00", # 启动时间 + "last_heartbeat_ts": "2019-03-21T14:14:22.961171958+08:00", # 最后一次心跳的时间 + "uptime": "4m50.961171958s" + } } ] -} ``` -## Metrics 监控 +## 使用 metrics 接口 -这部分主要对整个集群的状态、性能做监控,通过 Prometheus+Grafana 展现 metrics 数据,在下面一节会介绍如何搭建监控系统。 +Metrics 接口用于监控整个集群的状态和性能。 -### TiDB Server +- 如果使用 TiDB-Ansible 部署 TiDB 集群,监控系统(Prometheus 和 Grafana)会同时部署。 +- 如果使用其他方式部署 TiDB 集群,在使用 metrics 接口前,需先[部署 Prometheus 和 Grafana](#部署-prometheus-和-grafana)。 -+ query 处理时间,可以看到延迟和吞吐 -+ ddl 过程监控 -+ TiKV client 相关的监控 -+ PD client 相关的监控 +成功部署 Prometheus 和 Grafana 之后,[配置 Grafana](#配置-grafana)。 -### PD Server +### 部署 Prometheus 和 Grafana + +假设 TiDB 的拓扑结构如下: + +| 节点 | 主机 IP | 服务 | +| :-- | :-- | :-------------- | +| Node1 | 192.168.199.113| PD1, TiDB, node_export, Prometheus, Grafana | +| Node2 | 192.168.199.114| PD2, node_export | +| Node3 | 192.168.199.115| PD3, node_export | +| Node4 | 192.168.199.116| TiKV1, node_export | +| Node5 | 192.168.199.117| TiKV2, node_export | +| Node6 | 192.168.199.118| TiKV3, node_export | + +#### 第 1 步:下载二进制包 + +```bash +# 下载二进制包 +$ wget https://github.com/prometheus/prometheus/releases/download/v2.2.1/prometheus-2.2.1.linux-amd64.tar.gz +$ wget https://github.com/prometheus/node_exporter/releases/download/v0.15.2/node_exporter-0.15.2.linux-amd64.tar.gz +$ wget https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-4.6.3.linux-x64.tar.gz + +# 解压二进制包 +$ tar -xzf prometheus-2.2.1.linux-amd64.tar.gz +$ tar -xzf node_exporter-0.15.2.linux-amd64.tar.gz +$ tar -xzf grafana-4.6.3.linux-x64.tar.gz +``` + +#### 第 2 步:在 Node1,Node2,Node3,Node4 上启动 `node_exporter` -+ 命令执行的总次数 -+ 某个命令执行失败的总次数 -+ 某个命令执行成功的耗时统计 -+ 某个命令执行失败的耗时统计 -+ 某个命令执行完成并返回结果的耗时统计 +```bash +$ cd node_exporter-0.15.2.linux-amd64 -### TiKV Server +# 启动 node_exporter 服务 +$ ./node_exporter --web.listen-address=":9100" \ + --log.level="info" & +``` -+ GC 监控 -+ 执行 KV 命令的总次数 -+ Scheduler 执行命令的耗时统计 -+ Raft propose 命令的总次数 -+ Raft 执行命令的耗时统计 -+ Raft 执行命令失败的总次数 -+ Raft 处理 ready 状态的总次数 +#### 第 3 步:在 Node1 上启动 Prometheus + +编辑 Prometheus 的配置文件: + +```yml +$ cd prometheus-2.2.1.linux-amd64 +$ vi prometheus.yml + +... + +global: + scrape_interval: 15s + evaluation_interval: 15s + # scrape_timeout 设置为全局默认值 (10s) + external_labels: + cluster: 'test-cluster' + monitor: "prometheus" + +scrape_configs: + - job_name: 'overwritten-nodes' + honor_labels: true # 不要覆盖 job 和实例的 label + static_configs: + - targets: + - '192.168.199.113:9100' + - '192.168.199.114:9100' + - '192.168.199.115:9100' + - '192.168.199.116:9100' + - '192.168.199.117:9100' + - '192.168.199.118:9100' + + - job_name: 'tidb' + honor_labels: true # 不要覆盖 job 和实例的 label + static_configs: + - targets: + - '192.168.199.113:10080' + + - job_name: 'pd' + honor_labels: true # 不要覆盖 job 和实例的 label + static_configs: + - targets: + - '192.168.199.113:2379' + - '192.168.199.114:2379' + - '192.168.199.115:2379' + + - job_name: 'tikv' + honor_labels: true # 不要覆盖 job 和实例的 label + static_configs: + - targets: + - '192.168.199.116:20180' + - '192.168.199.117:20180' + - '192.168.199.118:20180' + +... -## 使用 Prometheus+Grafana +``` -### 部署架构 +启动 Grafana 服务: -整个架构如下图所示,在 TiDB/PD/TiKV 三个组件的启动参数中添加 Prometheus Pushgateway 地址: +```bash +$ ./prometheus \ + --config.file="./prometheus.yml" \ + --web.listen-address=":9090" \ + --web.external-url="http://192.168.199.113:9090/" \ + --web.enable-admin-api \ + --log.level="info" \ + --storage.tsdb.path="./data.metrics" \ + --storage.tsdb.retention="15d" & +``` -![Deployment Architecture](/media/monitor-architecture.png) +#### 第 4 步:在 Node1 上启动 Grafana + +编辑 Grafana 的配置文件: + +```ini +$ cd grafana-4.6.3 +$ vi conf/grafana.ini + +... + +[paths] +data = ./data +logs = ./data/log +plugins = ./data/plugins +[server] +http_port = 3000 +domain = 192.168.199.113 +[database] +[session] +[analytics] +check_for_updates = true +[security] +admin_user = admin +admin_password = admin +[snapshots] +[users] +[auth.anonymous] +[auth.basic] +[auth.ldap] +[smtp] +[emails] +[log] +mode = file +[log.console] +[log.file] +level = info +format = text +[log.syslog] +[event_publisher] +[dashboards.json] +enabled = false +path = ./data/dashboards +[metrics] +[grafana_net] +url = https://grafana.net + +... -### 搭建监控系统 +``` -- Prometheus Push Gateway 参考:https://github.com/prometheus/pushgateway -- Prometheus Server 参考:https://github.com/prometheus/prometheus#install -- Grafana 参考:http://docs.grafana.org +启动 Grafana 服务: -### 配置 +```bash +$ ./bin/grafana-server \ + --config="./conf/grafana.ini" & +``` -#### TiDB/PD/TiKV 配置 +### 配置 Grafana -+ TiDB +本小节介绍如何配置 Grafana。 - 设置 \-\-metrics-addr 和 \-\-metrics-interval 两个参数,其中 metrics-addr 设为 Push Gateway 的地址,metrics-interval 为 push 的频率,单位为秒,默认值为 15 +#### 第 1 步:添加 Prometheus 数据源 -+ PD +1. 登录 Grafana 界面。 - 修改 toml 配置文件,填写 Push Gateway 的地址和推送频率 + - 默认地址:http://localhost:3000 + - 默认账户:admin + - 默认密码:admin - ```toml - [metric] - # prometheus client push interval, set "0s" to disable prometheus. - interval = "15s" - # prometheus pushgateway address, leaves it empty will disable prometheus. - address = "host:port" - ``` +2. 点击 Grafana 图标打开侧边栏。 -+ TiKV +3. 在侧边栏菜单中,点击 **Data Source**。 - 修改 toml 配置文件,填写 Push Gateway 的地址和推送频率,job 字段一般设为“tikv”。 +4. 点击 **Add data source**。 - ```toml - [metric] - # the Prometheus client push interval. Setting the value to 0s stops Prometheus client from pushing. - interval = "15s" - # the Prometheus pushgateway address. Leaving it empty stops Prometheus client from pushing. - address = "host:port" - # the Prometheus client push job name. Note: A node id will automatically append, e.g., "tikv_1". - job = "tikv" - ``` +5. 指定数据源的相关信息: -#### PushServer 配置 + - 在 **Name** 处,为数据源指定一个名称。 + - 在 **Type** 处,选择 **Prometheus**。 + - 在 **URL** 处,指定 Prometheus 的 IP 地址。 + - 根据需求指定其它字段。 -一般无需特殊配置,使用默认端口 9091 即可 +6. 点击 **Add** 保存新的数据源。 -#### Prometheus 配置 +#### 第 2 步:导入 Grafana 面板 -在 yaml 配置文件中添加 Push Gateway 地址: +执行以下步骤,为 PD Server、TiKV Server 和 TiDB Server 分别导入 Grafana 面板: -```yaml - scrape_configs: -# The job name is added as a label `job=` to any timeseries scraped from this config. -- job_name: 'TiDB' +1. 点击侧边栏的 Grafana 图标。 - # Override the global default and scrape targets from this job every 5 seconds. - scrape_interval: 5s +2. 在侧边栏菜单中,依次点击 **Dashboards** > **Import** 打开 **Import Dashboard** 窗口。 - honor_labels: true +3. 点击 **Upload .json File** 上传对应的 JSON 文件(下载 [TiDB Grafana 配置文件](https://github.com/pingcap/tidb-ansible/tree/master/scripts))。 - static_configs: - - targets: ['host:port'] # use the Push Gateway address -labels: - group: 'production' -``` + > **注意**:TiKV、PD 和 TiDB 面板对应的 JSON 文件分别为 `tikv_pull.json`,`pd.json`,`tidb.json`。 + +4. 点击 **Load**。 + +5. 选择一个 Prometheus 数据源。 + +6. 点击 **Import**,Prometheus 面板即导入成功。 + +### 查看组件 metrics + +在顶部菜单中,点击 **New dashboard**,选择要查看的面板。 + +![view dashboard](../media/view-dashboard.png) -#### Grafana 配置 +可查看以下集群组件信息: -+ 进入 Grafana Web 界面(默认地址: http://localhost:3000 ,默认账号: admin 密码: admin) ++ **TiDB Server:** + + query 处理时间,可以看到延迟和吞吐 + + ddl 过程监控 + + TiKV client 相关的监控 + + PD client 相关的监控 - 点击 Grafana Logo -> 点击 Data Sources -> 点击 Add data source -> 填写 data source 信息 ( 注: Type 选 Prometheus,Url 为 Prometheus 地址,其他根据实际情况填写 ) ++ **PD Server:** + + 命令执行的总次数 + + 某个命令执行失败的总次数 + + 某个命令执行成功的耗时统计 + + 某个命令执行失败的耗时统计 + + 某个命令执行完成并返回结果的耗时统计 -+ 导入 dashboard 配置文件 ++ **TiKV Server:** + + GC 监控 + + 执行 KV 命令的总次数 + + Scheduler 执行命令的耗时统计 + + Raft propose 命令的总次数 + + Raft 执行命令的耗时统计 + + Raft 执行命令失败的总次数 + + Raft 处理 ready 状态的总次数 - 点击 Grafana Logo -> 点击 Dashboards -> 点击 Import -> 选择需要的 Dashboard [配置文件](https://grafana.com/tidb)上传 -> 选择对应的 data source diff --git a/v3.0/how-to/monitor/overview.md b/v3.0/how-to/monitor/overview.md index 338fa5d97862..01290f2faaeb 100644 --- a/v3.0/how-to/monitor/overview.md +++ b/v3.0/how-to/monitor/overview.md @@ -6,14 +6,24 @@ aliases: ['/docs-cn/op-guide/monitor-overview/'] # TiDB 监控框架概述 -TiDB 使用开源时序数据库 Prometheus 作为监控和性能指标信息存储方案,使用 Grafana 作为可视化组件进行展示。 +TiDB 使用开源时序数据库 [Prometheus](https://prometheus.io) 作为监控和性能指标信息存储方案,使用 [Grafana](https://grafana.com/grafana) 作为可视化组件进行展示。 -Prometheus 是一个拥有多维度数据模型,灵活的查询语句的时序数据库。Prometheus 作为热门的开源项目,拥有活跃的社区及众多的成功案例。 +## Prometheus 在 TiDB 中的应用 -Prometheus 提供了多个组件供用户使用。目前,我们使用 Prometheus Server,来收集和存储时间序列数据。Client 代码库,在程序中定制需要的 Metric 。Push GateWay 来接收 Client Push 上来的数据,统一供 Prometheus 主服务器抓取。以及 AlertManager 来实现报警机制。其结构如下图: +Prometheus 是一个拥有多维度数据模型的、灵活的查询语句的时序数据库。Prometheus 作为热门的开源项目,拥有活跃的社区及众多的成功案例。 + +Prometheus 提供了多个组件供用户使用。目前,TiDB 使用了以下组件: + +- Prometheus Server:用于收集和存储时间序列数据。 +- Client 代码库:用于定制程序中需要的 Metric。 +- Alertmanager:用于实现报警机制。 + +其结构如下图所示: ![Prometheus in TiDB](/media/prometheus-in-tidb.png) -Grafana 是一个开源的 metric 分析及可视化系统。我们使用 Grafana 来展示 TiDB 的各项性能指标 。如下图所示: +## Grafana 在 TiDB 中的应用 + +Grafana 是一个开源的 metric 分析及可视化系统。TiDB 使用 Grafana 来展示 TiDB 的各项性能指标。如下图所示: -![Grafana Screeshot](/media/grafana-screenshot.png) \ No newline at end of file +![Grafana in TiDB](/media/grafana-screenshot.png)