Overview of TiDB Tool Functions

TiDB 提供了丰富的工具,It can help you with deployment and operation、数据管理（例如,数据迁移、备份恢复、数据校验）、在 TiKV 上运行 Spark SQL.Please select the applicable tool as required.

Deploy operation and maintenance tools

TiDB 提供了 TiUP、TiDB Operator 和 TiUniManager Three deployment and operation tools,Meet your deployment and operation requirements in different system environments.

Deploy operations on physical or virtual machines TiDB

TiUP

TiUP on a physical or virtual machine TiDB 包管理器,管理着 TiDB of numerous components,如 TiDB、PD、TiKV 等.when you want to run TiDB 生态中任何组件时,只需要执行一行 TiUP 命令即可.

TiUP cluster 是 TiUP 提供的使用 Golang 编写的集群管理组件,通过 TiUP cluster 组件就可以进行日常的运维工作,包括部署、启动、关闭、销毁、弹性扩缩容、升级 TiDB 集群,以及管理 TiDB 集群参数.

基本信息：

• Terminology and core concepts
• 使用 TiUP 部署 TiDB 集群
• TiUP 组件管理
• 适用 TiDB 版本：v4.0 及以上

TiUniManager

TiUniManager 是一款以 TiDB The database is the core database management platform,Help users deploy privately (on-premises) or in a public cloud environment TiDB 集群.

TiUniManager 不仅提供对 TiDB Visual management of the entire life cycle of a cluster,It is also a one-stop shop TiDB Database parameter management、数据库版本升级、克隆集群、Active-standby cluster switchover、数据导入导出、数据同步、Data backup and recovery services,能有效提高 TiDB 集群运维效率,降低企业运维成本.

基本信息：

• TiUniManager 使用场景
• TiUniManager Installation and operation guide
• TiUniManager 与 TiUP 的关系

在 Kubernetes 上部署运维 TiDB - TiDB Operator

TiDB Operator 是 Kubernetes 上的 TiDB 集群自动运维系统,提供包括部署、升级、扩缩容、备份恢复、配置变更的 TiDB 全生命周期管理.借助 TiDB Operator,TiDB 可以无缝运行在公有云或私有部署的 Kubernetes 集群上.

基本信息：

• TiDB Operator 架构
• 在 Kubernetes 上部署运维 TiDB 快速上手
• 适用 TiDB 版本：v2.1 及以上

数据管理工具

TiDB Provides rich data management tools,例如数据迁移、导入导出、备份恢复、增量同步、数据校验等.

数据迁入 - TiDB Data Migration (DM)

TiDB Data Migration (DM) 是将 MySQL/MariaDB 数据迁移到 TiDB 的工具,It supports full data migration and incremental data replication.

基本信息：

• TiDB DM 的输入：MySQL/MariaDB
• TiDB DM 的输出：TiDB 集群
• 适用 TiDB 版本：所有版本
• Kubernetes 支持：使用 TiDB Operator 在 Kubernetes 上部署 TiDB DM.

如果数据量在 TB 级别以下,推荐直接使用 TiDB DM 迁移 MySQL/MariaDB 数据到 TiDB（The migration process includes the export and import of full data and the replication of incremental data）.

如果数据量在 TB 级别,The recommended migration steps are as follows：

1. 使用 Dumpling 导出 MySQL/MariaDB 全量数据.
2. 使用 TiDB Lightning Import the full export data TiDB 集群.
3. 使用 TiDB DM 复制 MySQL/MariaDB 增量数据到 TiDB.

注意

• 原 Syncer The tool is out of maintenance,不再推荐使用,Please use the relevant scene TiDB DM instead of the incremental copy mode.

全量导出 - Dumpling

Dumpling 是一个用于从 MySQL/TiDB A tool for full logic export.

基本信息：

• Dumpling 的输入：MySQL/TiDB 集群
• Dumpling 的输出：SQL/CSV 文件
• 适用 TiDB 版本：所有版本
• Kubernetes 支持：尚未支持

注意

PingCAP 之前维护的 Mydumper 工具 fork 自 Mydumper project,针对 TiDB 的特性进行了优化.Mydumper 已经被 Dumpling tool replacement,并使用 Go 语言编写,More targets are supported TiDB 特性的优化.建议切换到 Dumpling.

全量导入 - TiDB Lightning

TiDB Lightning is the one for importing full data into TiDB 集群的工具.

使用 TiDB Lightning 导入数据到 TiDB 时,有三种模式：

• local 模式：TiDB Lightning Parse data into ordered key-value pairs,并直接将其导入 TiKV.This mode is generally used to import large amounts of data（TB 级别）到新集群,However, the cluster cannot provide normal services during the data import process.
• importer 模式：和 local 模式类似,But additional components need to be deployed tikv-importer Assist in the import of key-value pairs.对于 4.0 The target cluster above,请优先使用 local mode to import.
• tidb 模式：以 TiDB/MySQL 作为后端,这种模式相比 local 和 importer Schema import is slow,But it can be imported online,It also supports importing data to MySQL.

基本信息：

• TiDB Lightning 的输入：
  • Dumpling 输出文件
  • Compatible with other formats CSV 文件
• 适用 TiDB 版本：v2.1 及以上
• Kubernetes 支持：使用 TiDB Lightning 快速恢复 Kubernetes 上的 TiDB 集群数据

注意

原 Loader The tool is out of maintenance,不再推荐使用.Please use the relevant scene TiDB Lightning 的 tidb mode instead.

备份和恢复 - Backup & Restore

Backup & Restore (BR) 是一个对 TiDB Tools for distributed backup and recovery,Can efficiently handle large data volumes TiDB 集群进行数据备份和恢复.

基本信息：

• Backup output and restore input file types：SST + backupmeta 文件
• 适用 TiDB 版本：v4.0 及以上
• Kubernetes 支持：使用 BR 工具备份 TiDB 集群数据到兼容 S3 的存储,使用 BR 工具恢复 S3 Backup data on compatible storage

TiDB 增量数据同步 - TiCDC

TiCDC 是一款通过拉取 TiKV 变更日志实现的 TiDB 增量数据同步工具,具有将数据还原到与上游任意 TSO 一致状态的能力,同时提供开放数据协议 (TiCDC Open Protocol),支持其他系统订阅数据变更.

基本信息：

• TiCDC 的输入：TiDB 集群
• TiCDC 的输出：TiDB 集群、MySQL、Kafka、Apache Pulsar、Confluent
• 适用 TiDB 版本：v4.0.6 及以上

TiDB Incremental log synchronization - TiDB Binlog

TiDB Binlog 是收集 TiDB 的增量 binlog 数据,And provides quasi-real-time synchronization and backup tools.该工具可用于 TiDB 集群间的增量数据同步,如将其中一个 TiDB 集群作为另一个 TiDB 集群的从集群.

基本信息：

• TiDB Binlog 的输入：TiDB 集群
• TiDB Binlog 的输出：TiDB 集群、MySQL、Kafka Or incremental backup files
• 适用 TiDB 版本：v2.1 及以上
• Kubernetes 支持：TiDB Binlog 运维文档,Kubernetes 上的 TiDB Binlog Drainer 配置

数据校验 - sync-diff-inspector

sync-diff-inspector 是一个用于校验 MySQL/TiDB A tool to check whether the two data are consistent.The tool also provides functionality to repair data,Can be used to repair small amounts of inconsistent data.

基本信息：

• sync-diff-inspector 的输入：TiDB、MySQL
• sync-diff-inspector 的输出：TiDB、MySQL
• 适用 TiDB 版本：所有版本

OLAP 分析工具

TiDB 提供了 OLAP 分析工具 TiSpark.通过 TiSpark,你可以像使用原生 Spark 一样查询 TiDB 表.

使用 Spark 查询 TiKV 数据源 - TiSpark

TiSpark 是 PingCAP 为解决用户复杂 OLAP 需求而推出的产品.它借助 Spark 平台,同时融合 TiKV 分布式集群的优势,和 TiDB 一起为用户一站式解决 HTAP (Hybrid Transactional/Analytical Processing) 的需求.