MaxWell抓取数据

MaxWell安装及配置

提前准备好MaxWell软件包

 tar -zxvf /opt/software/maxwell-1.25.0.tar.gz -C /opt/module/

1、在 MySQL 中建立一个 maxwell 库用于存储 Maxwell 的元数据

mysql -uroot -p000000

mysql> CREATE DATABASE maxwell;

2、设置安全级别

mysql> set global validate_password_length=4;
mysql> set global validate_password_policy=0;

3、分配一个账号可以操作该数据库

GRANT ALL ON maxwell.* TO 'maxwell'@'%' IDENTIFIED BY '000000';

4、分配这个账号可以监控其他数据库的权限

GRANT SELECT ,REPLICATION SLAVE , REPLICATION CLIENT ON *.* TO [email protected]'%';

Maxwell监控抓取MySQL数据

1、拷贝配置文件

cp config.properties.example config.properties

2、修改配置文件

producer=kafka
kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092
#需要添加
kafka_topic=ods_base_db_m
# mysql login info
host=hadoop102
user=maxwell
password=000000
#需要添加 初始化会用
client_id=maxwell_1

注意：

• 默认还是输出到指定 Kafka 主题的一个 kafka 分区，因为多个分区并行可能会打乱 binlog 的顺序
• 如果要提高并行度，首先设置 kafka 的分区数>1,然后设置 producer_partition_by 属性
  • producer_partition_by=database|table|primary_key|random| column

3、启动maxwell

/opt/module/maxwell-1.25.0/bin/maxwell --config /opt/module/maxwell-1.25.0/config.properties

4、启动kafka消费客户端（前提先启动zookeeper）

bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic ods_base_db_m

5、操作数据库，发现消费者消费的信息