canal实现mysql数据同步

前言

canal是实现mysql数据备份，异地灾备，异地数据同步等重要的中间件，在实际的业务场景中有着广泛的使用，本文基于小编所在项目中一个异地数据同步的场景为例，通过案例演示下利用canal实现mysql数据同步的过程

同步原理

如上图所示，为canal同步mysql数据的原理的简单示意图，归纳如下：

1. canal 模拟mysql slave 的交互协议，伪装自己为mysql slave，向mysql master 发送dump 协议。
2. mysql master 收到dump请求，开始推送binary log给canal (slave)
3. canal解析binary log对象(原始为byte流)

如果亲手配置过mysql读写分离架构的同学，对canal做数据复制的原理很好理解了，简单来说，就是伪装成master的从节点，监听并解析binlog日志的元数据到目标数据库的数据表

环境准备

• 一个开启了binlog日志的mysql服务，IP地址为: IP1
• 另一个安装并启动了mysql服务器的机器，IP地址为 ： IP2
• canal安装包，包括：canal.adapter-1.1.4.tar.gz ， canal.deployer-1.1.4.tar.gz

canal安装包下载地址：https://github.com/alibaba/canal/releases

实现步骤

实现本文需求的话，主要是基于下载的两个安装包的配置，其实对canal有所了解的同学对其实现原理并不陌生，就是两个springboot的服务，对于开发者来说，只需要按照官方wiki提供的同步实现，做各种配置即可

在上一篇springboot整合canal一篇中，我们初步演示了canal的server端配置过程，即 deployer 的配置，本篇，需要对 deployer 和 adapter同时做配置

deployer 配置

1、解压canal.deployer-1.1.4.tar.gz 到指定目录

tar -zxvf canal.deployer-1.1.4.tar.gz -C 目标文件目录

2、进入conf目录，修改canal.properties

如果是msyql同步到mysql，该配置文件无需做修改，保持默认即可，需要注意的地方如下：

3、进入example目录，修改instance.properties

主要需要修改的地方如下：

canal.instance.master.address=IP:3306    #mysql源地址

mysql源地址授权canal获取数据的账户名和密码

canal.instance.dbUsername=root
canal.instance.dbPassword=123456

4、启动deployer服务

进入到bin目录，直接使用下面的脚本启动，启动后检查下进程

adapter 配置

1、解压 canal.adapter-1.1.4.tar.gz 到指定目录

tar -zxvf canal.adapter-1.1.4.tar.gz 指定目录

2、进入conf 目录，首先修改application.yml 文件

主要需要修改的地方如下，

server:
  port: 8081
spring:
  jackson:
    date-format: yyyy-MM-dd HH:mm:ss
    time-zone: GMT+8
    default-property-inclusion: non_null

canal.conf:
  mode: tcp # kafka rocketMQ
  canalServerHost: Canal的deployer服务所在IP地址:11111
#  zookeeperHosts: slave1:2181
#  mqServers: 127.0.0.1:9092 #or rocketmq
#  flatMessage: true
  batchSize: 500
  syncBatchSize: 1000
  retries: 0
  timeout:
  accessKey:
  secretKey:
   srcDataSources:
     defaultDS:
       url: jdbc:mysql://mysql源数据库IP:3306/shop001?useUnicode=true
       username: root
       password: root
  canalAdapters:
  - instance: example # canal instance Name or mq topic name
    groups:
    - groupId: g1
      outerAdapters:
      - name: logger
      - name: rdb
        key: mysql1
        properties:
          jdbc.driverClassName: com.mysql.jdbc.Driver
          jdbc.url: jdbc:mysql://目标同步IP:3306/shop001?useUnicode=true
          jdbc.username: root
          jdbc.password: root

3、进入rdb 目录，首先修改mytest_user.yml 文件

下面贴出核心修改的文件内容，需要注意的地方包括：

1. groupId: g1 ，这个和上面第二步中的该配置保持一致

2. outerAdapterKey: mysql1 ，这个和第二步中的该配置保持一致

3. mapAll: true，如果源表和目标表的字段结构等完全一致，直接开启此配置即可，下面的targetColumns可以注释掉

   dataSourceKey: defaultDS
   destination: example
   groupId: g1
   outerAdapterKey: mysql1
   concurrent: true
   dbMapping:
   database: shop001 #mysql源数据库名称
   table: user_info #mysql源数据库下的表名称
   targetTable: shop001.tar_user #同步到目标数据库-数据表名称
   targetPk:
   id: id
   mapAll: true #如果源表和目标表的字段结构等完全一致，直接开启此配置即可，下面的targetColumns可以注释掉
   #targetColumns:

   id:

   name:

   role_id:

   c_time:

   test1:

   #etlCondition: “where c_time>={}”
   #commitBatch: 3000 # 批量提交的大小

4、启动 adapter 服务

进入bin目录下，使用下面的启动脚本进行启动，然后检查服务进程

在测试之前，我们分别在IP1和IP2上面安装的mysql数据库下创建了 user_info 表和 tar_user表，现在的需求是，数据要从 IP1:user_info => IP2: tar_user 表同步，

当前的状态为，两个库下的两个表均为空，执行下面的数据插入 sql ，给 user_info表插入一条数据

INSERT INTO `shop001`.`user_info` (`id`, `name`, `sex`) VALUES ('1', 'xiaoma', 'male');

可以看到，数据几乎是准实时的插入到tar_user表中，当然，当你执行删除、修改等操作时候，同样会同步过去

基于上面的操作，我们完成了一个使用canal实现mysql数据同步的过程，官方提供了诸多的同步方案，比如可以将数据从mysql同步到mysql，es，redis等等，有兴趣的同学可以继续深入研究！

先自我介绍一下，小编13年上师交大毕业，曾经在小公司待过，去过华为OPPO等大厂，18年进入阿里，直到现在。深知大多数初中级java工程师，想要升技能，往往是需要自己摸索成长或是报班学习，但对于培训机构动则近万元的学费，着实压力不小。自己不成体系的自学效率很低又漫长，而且容易碰到天花板技术停止不前。因此我收集了一份《java开发全套学习资料》送给大家，初衷也很简单，就是希望帮助到想自学又不知道该从何学起的朋友，同时减轻大家的负担。添加下方名片，即可获取全套学习资料哦