当前位置:网站首页>使用 BR 备份 TiDB 集群数据到 Azure Blob Storage
使用 BR 备份 TiDB 集群数据到 Azure Blob Storage
2022-07-07 18:11:00 【添香小铺】
本文介绍如何将运行在 Kubernetes 环境中的 TiDB 集群数据备份到 Azure Blob Storage 上。
本文使用的备份方式基于 TiDB Operator 的 Custom Resource Definition(CRD) 实现,底层使用 BR 获取集群数据,然后再将数据上传到 Azure Blob Storage 上。BR 全称为 Backup & Restore,是 TiDB 分布式备份恢复的命令行工具,用于对 TiDB 集群进行数据备份和恢复。
使用场景
如果你对数据备份有以下要求,可考虑使用 BR 将 TiDB 集群数据以 Ad-hoc 备份或定时全量备份的方式备份至 Azure Blob Storage 上:
- 需要备份的数据量较大(大于 1 TB),而且要求备份速度较快
- 需要直接备份数据的 SST 文件(键值对)
如有其他备份需求,请参考备份与恢复简介选择合适的备份方式。
注意
- BR 只支持 TiDB v3.1 及以上版本。
- 使用 BR 备份出的数据只能恢复到 TiDB 数据库中,无法恢复到其他数据库中。
Ad-hoc 备份
Ad-hoc 备份支持全量备份与增量备份。
要进行 Ad-hoc 备份,你需要创建一个自定义的 Backup
custom resource (CR) 对象来描述本次备份。创建好 Backup
对象后,TiDB Operator 根据这个对象自动完成具体的备份过程。如果备份过程中出现错误,程序不会自动重试,此时需要手动处理。
本文假设对部署在 Kubernetes test1
这个 namespace 中的 TiDB 集群 demo1
进行数据备份。下面是具体的操作过程。
第 1 步:准备 Ad-hoc 备份环境
下载文件 backup-rbac.yaml,并执行以下命令在
test1
这个 namespace 中创建备份需要的 RBAC 相关资源:kubectl apply -f backup-rbac.yaml -n test1
授予远程存储访问权限,可以使用两种方式授予权限,可参考文档 Azure 账号授权。
如果你使用的 TiDB 版本低于 v4.0.8,你还需要完成以下步骤。如果你使用的 TiDB 为 v4.0.8 及以上版本,请跳过这些步骤。
确保你拥有备份数据库
mysql.tidb
表的SELECT
和UPDATE
权限,用于备份前后调整 GC 时间。创建
backup-demo1-tidb-secret
secret 用于存放访问 TiDB 集群的用户所对应的密码。kubectl create secret generic backup-demo1-tidb-secret --from-literal=password=${password} --namespace=test1
第 2 步:备份数据到 Azure Blob Storage
根据上一步选择的远程存储访问授权方式,你需要使用下面对应的方法将数据导出到 Azure Blob Storage 上:
方法 1:如果通过了访问密钥的方式授权,你可以按照以下说明创建
Backup
CR 备份集群数据:kubectl apply -f backup-azblob.yaml
backup-azblob.yaml
文件内容如下:--- apiVersion: pingcap.com/v1alpha1 kind: Backup metadata: name: demo1-backup-azblob namespace: test1 spec: backupType: full br: cluster: demo1 clusterNamespace: test1 # logLevel: info # statusAddr: ${status_addr} # concurrency: 4 # rateLimit: 0 # timeAgo: ${time} # checksum: true # sendCredToTikv: true # options: # - --lastbackupts=420134118382108673 # Only needed for TiDB Operator < v1.1.10 or TiDB < v4.0.8 from: host: ${tidb_host} port: ${tidb_port} user: ${tidb_user} secretName: backup-demo1-tidb-secret azblob: secretName: azblob-secret container: my-container prefix: my-folder
方法 2:如果通过了 Azure AD 的方式授权,你可以按照以下说明创建
Backup
CR 备份集群数据:kubectl apply -f backup-azblob.yaml
backup-azblob.yaml
文件内容如下:--- apiVersion: pingcap.com/v1alpha1 kind: Backup metadata: name: demo1-backup-azblob namespace: test1 spec: backupType: full serviceAccount: tidb-backup-manager br: cluster: demo1 sendCredToTikv: false clusterNamespace: test1 # logLevel: info # statusAddr: ${status_addr} # concurrency: 4 # rateLimit: 0 # timeAgo: ${time} # checksum: true # options: # - --lastbackupts=420134118382108673 # Only needed for TiDB Operator < v1.1.10 or TiDB < v4.0.8 from: host: ${tidb_host} port: ${tidb_port} user: ${tidb_user} secretName: backup-demo1-tidb-secret azblob: secretName: azblob-secret-ad container: my-container prefix: my-folder
在配置 backup-azblob.yaml
文件时,请参考以下信息:
- 自 TiDB Operator v1.1.6 版本起,如果需要增量备份,只需要在
spec.br.options
中指定上一次的备份时间戳--lastbackupts
即可。有关增量备份的限制,可参考使用 BR 进行备份与恢复。 - 关于 Azure Blob Storage 相关配置,请参考 Azure Blob Storage 存储字段介绍。
.spec.br
中的一些参数是可选的,例如logLevel
、statusAddr
等。完整的.spec.br
字段的详细解释,请参考 BR 字段介绍。- 如果你使用的 TiDB 为 v4.0.8 及以上版本, BR 会自动调整
tikv_gc_life_time
参数,不需要配置spec.tikvGCLifeTime
和spec.from
字段。 - 更多
Backup
CR 字段的详细解释参考 Backup CR 字段介绍。
创建好 Backup
CR 后,TiDB Operator 会根据 Backup
CR 自动开始备份。你可以通过如下命令查看备份状态:
kubectl get bk -n test1 -o wide
备份示例
备份全部集群数据
备份单个数据库的数据
备份单张表的数据
使用表库过滤功能备份多张表的数据
定时全量备份
你可以通过设置备份策略来对 TiDB 集群进行定时备份,同时设置备份的保留策略以避免产生过多的备份。定时全量备份通过自定义的 BackupSchedule
CR 对象来描述。每到备份时间点会触发一次全量备份,定时全量备份底层通过 Ad-hoc 全量备份来实现。
第 1 步:准备定时全量备份环境
第 2 步:定时备份数据到 Azure Blob Storage
依据准备 Ad-hoc 备份环境时所选择的远程存储访问授权方式,你需要使用下面对应的方法将数据定时备份到 Azure Blob Storage 上:
方法 1:如果通过了访问密钥的方式授权,你可以按照以下说明创建
BackupSchedule
CR,开启 TiDB 集群定时全量备份:kubectl apply -f backup-scheduler-azblob.yaml
backup-scheduler-azblob.yaml
文件内容如下:--- apiVersion: pingcap.com/v1alpha1 kind: BackupSchedule metadata: name: demo1-backup-schedule-azblob namespace: test1 spec: #maxBackups: 5 #pause: true maxReservedTime: "3h" schedule: "*/2 * * * *" backupTemplate: backupType: full br: cluster: demo1 clusterNamespace: test1 # logLevel: info # statusAddr: ${status_addr} # concurrency: 4 # rateLimit: 0 # timeAgo: ${time} # checksum: true # sendCredToTikv: true # Only needed for TiDB Operator < v1.1.10 or TiDB < v4.0.8 from: host: ${tidb_host} port: ${tidb_port} user: ${tidb_user} secretName: backup-demo1-tidb-secret azblob: secretName: azblob-secret-ad container: my-container prefix: my-folder
方法 2:如果通过了 Azure AD 的方式授权,你可以按照以下说明创建
BackupSchedule
CR,开启 TiDB 集群定时全量备份:kubectl apply -f backup-scheduler-azblob.yaml
backup-scheduler-azblob.yaml
文件内容如下:--- apiVersion: pingcap.com/v1alpha1 kind: BackupSchedule metadata: name: demo1-backup-schedule-azblob namespace: test1 spec: #maxBackups: 5 #pause: true maxReservedTime: "3h" schedule: "*/2 * * * *" backupTemplate: backupType: full br: cluster: demo1 sendCredToTikv: false clusterNamespace: test1 # logLevel: info # statusAddr: ${status_addr} # concurrency: 4 # rateLimit: 0 # timeAgo: ${time} # checksum: true # Only needed for TiDB Operator < v1.1.10 or TiDB < v4.0.8 from: host: ${tidb_host} port: ${tidb_port} user: ${tidb_user} secretName: backup-demo1-tidb-secret azblob: secretName: azblob-secret-ad container: my-container prefix: my-folder
从以上 backup-scheduler-azblob.yaml
文件配置示例可知,backupSchedule
的配置由两部分组成。一部分是 backupSchedule
独有的配置,另一部分是 backupTemplate
。
- 关于
backupSchedule
独有的配置项具体介绍,请参考 BackupSchedule CR 字段介绍。 backupTemplate
用于指定集群及远程存储相关的配置,字段和 Backup CR 中的spec
一样,详细介绍可参考 Backup CR 字段介绍。
定时全量备份创建完成后,可以通过以下命令查看定时全量备份的状态:
kubectl get bks -n test1 -o wide
查看定时全量备份下面所有的备份条目:
kubectl get bk -l tidb.pingcap.com/backup-schedule=demo1-backup-schedule-azblob -n test1
边栏推荐
- Force buckle 459 Duplicate substring
- Force buckle 599 Minimum index sum of two lists
- Leetcode force buckle (Sword finger offer 36-39) 36 Binary search tree and bidirectional linked list 37 Serialize binary tree 38 Arrangement of strings 39 Numbers that appear more than half of the tim
- 写了个 Markdown 命令行小工具,希望能提高园友们发文的效率!
- Detailed explanation of Flink parallelism and slot
- Some important knowledge of MySQL
- pom.xml 配置文件标签:dependencies 和 dependencyManagement 区别
- Semantic slam source code analysis
- Gorilla official: sample code for golang to open websocket client
- POJ 1742 Coins ( 单调队列解法 )「建议收藏」
猜你喜欢
Simulate the implementation of string class
One click deployment of any version of redis
Mongodb由浅入深学习
About cv2 dnn. Readnetfromonnx (path) reports error during processing node with 3 inputs and 1 outputs [exclusive release]
With st7008, the Bluetooth test is completely grasped
整型int的拼接和拆分
力扣 2319. 判断矩阵是否是一个 X 矩阵
一. 基础概念
Implement secondary index with Gaussian redis
Some important knowledge of MySQL
随机推荐
毕业季|遗憾而又幸运的毕业季
c语言如何判定是32位系统还是64位系统
Force buckle 989 Integer addition in array form
MIT science and technology review article: AgI hype around Gato and other models may make people ignore the really important issues
Traversée des procédures stockées Oracle
MIT科技评论文章:围绕Gato等模型的AGI炒作可能使人们忽视真正重要的问题
CSDN syntax description
Openeuler prize catching activities, to participate in?
编译器优化那些事儿(4):归纳变量
pom. Brief introduction of XML configuration file label function
Vulnhub tre1
841. String hash
Traversal of Oracle stored procedures
Meta Force原力元宇宙系统开发佛萨奇模式
力扣 88.合并两个有序数组
Vulnhub's funfox2
With st7008, the Bluetooth test is completely grasped
力扣 1232.缀点成线
九章云极DataCanvas公司获评36氪「最受投资人关注的硬核科技企业」
[philosophy and practice] the way of program design