当前位置:网站首页>MaxWell抓取数据
MaxWell抓取数据
2022-07-30 14:10:00 【未来影子】
MaxWell安装及配置
提前准备好MaxWell软件包
tar -zxvf /opt/software/maxwell-1.25.0.tar.gz -C /opt/module/
1、在 MySQL 中建立一个 maxwell 库用于存储 Maxwell 的元数据
mysql -uroot -p000000
mysql> CREATE DATABASE maxwell;
2、设置安全级别
mysql> set global validate_password_length=4;
mysql> set global validate_password_policy=0;
3、分配一个账号可以操作该数据库
GRANT ALL ON maxwell.* TO 'maxwell'@'%' IDENTIFIED BY '000000';
4、分配这个账号可以监控其他数据库的权限
GRANT SELECT ,REPLICATION SLAVE , REPLICATION CLIENT ON *.* TO [email protected]'%';
Maxwell监控抓取MySQL数据
1、拷贝配置文件
cp config.properties.example config.properties
2、修改配置文件
producer=kafka
kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092
#需要添加
kafka_topic=ods_base_db_m
# mysql login info
host=hadoop102
user=maxwell
password=000000
#需要添加 初始化会用
client_id=maxwell_1
注意:
- 默认还是输出到指定 Kafka 主题的一个 kafka 分区,因为多个分区并行可能会打乱 binlog 的顺序
- 如果要提高并行度,首先设置 kafka 的分区数>1,然后设置 producer_partition_by 属性
- producer_partition_by=database|table|primary_key|random| column
3、启动maxwell
/opt/module/maxwell-1.25.0/bin/maxwell --config /opt/module/maxwell-1.25.0/config.properties
4、启动kafka消费客户端(前提先启动zookeeper)
bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic ods_base_db_m
5、操作数据库,发现消费者消费的信息
边栏推荐
- EasyV数字孪生流域|宁波智慧水利整体智治综合应用
- Data Middle Office Construction (5): Breaking Enterprise Data Silos and Extracting Data Value
- Why did I switch from developer to testing, 3 years software testing engineer, tell you the secret of this
- [ARC092D] Two Faced Edges
- The main content of terrain analysis (the special effect level of the wandering earth)
- LeetCode二叉树系列——145.二叉树的后序遍历
- 什么是缺陷分析?一篇文章带你了解,测试工程师必备技能
- 机器学习在竞赛和工业界应用区别
- mongodb打破原则引入SQL,它到底想要干啥?
- Redis6.0 source code learning (5) ziplist
猜你喜欢
随机推荐
[C# 循环跳转]-C# 中的 while/do-while/for/foreach 循环结构以及 break/continue 跳转语句
CF1677E Tokitsukaze and Beautiful Subsegments
LoRaWAN网关源码分析(V1.0.2)
MySQL客户端工具的使用与MySQL SQL语句
华为无线设备Mesh配置命令
新一代开源免费的终端工具,太酷了
八年测试经验,为何惨遭领导痛批:你写的测试文档还不如刚来的应届生
跳槽前,把自己弄成卷王
LeetCode二叉树系列——102.二叉树的层序遍历
从实例来看DAO:权力分散的伟大尝试
Shell变量与赋值、变量运算、特殊变量、重定向与管渠
【回归预测-lssvm分类】基于最小二乘支持向量机lssvm实现数据分类代码
cookie模拟登录「建议收藏」
Allure Advanced - Dynamically Generate Report Content
地形分析的主要内容(流浪地球的特效水平)
BI-SQL丨WHILE
开始学习C语言了
LeetCode二叉树系列——144.二叉树的最大深度
记面试外包公司的一次经历,到底该不该去?
Cookie simulation login "recommended collection"