当前位置:网站首页>Debezium同步之Debezium架构详解
Debezium同步之Debezium架构详解
2022-07-07 09:06:00 【auspicious航】
最常见的是,您通过 Apache Kafka Connect部署 Debezium 。Kafka Connect 是一个用于实现和操作的框架和运行时:
将记录发送到 Kafka 的源连接器,例如 Debezium
将记录从 Kafka 主题传播到其他系统的接收器连接器
下图显示了基于 Debezium 的变更数据捕获管道的架构:
如图所示,部署了用于 MySQL 和 PostgresSQL 的 Debezium 连接器来捕获对这两种类型的数据库的更改。每个 Debezium 连接器都建立到其源数据库的连接:
MySQL 连接器使用客户端库来访问
binlog
.PostgreSQL 连接器从逻辑复制流中读取。
Kafka Connect 作为 Kafka 代理之外的单独服务运行。
默认情况下,来自一个数据库表的更改将写入名称与表名对应的 Kafka 主题。如果需要,您可以通过配置 Debezium 的主题路由转换来调整目标主题名称。例如,您可以:
将记录路由到名称与表名不同的主题
将多个表的更改事件记录流式传输到单个主题中
更改事件记录在 Apache Kafka 中后,Kafka Connect 生态系统中的不同连接器可以将记录流式传输到其他系统和数据库,例如 Elasticsearch、数据仓库和分析系统,或 Infinispan 等缓存。根据所选的接收器连接器,您可能需要配置 Debezium 的新记录状态提取转换。此 Kafka Connect SMT 将after
结构从 Debezium 的更改事件传播到接收器连接器。这代替了默认传播的详细更改事件记录。
Debezium 服务器
部署 Debezium 的另一种方法是使用Debezium 服务器。Debezium 服务器是一个可配置的、即用型的应用程序,它将更改事件从源数据库流式传输到各种消息传递基础设施。
下图显示了使用 Debezium 服务器的变更数据捕获管道的架构:
Debezium 服务器配置为使用 Debezium 源连接器之一从源数据库捕获更改。更改事件可以序列化为不同的格式,如 JSON 或 Apache Avro,然后将发送到各种消息传递基础设施之一,如 Amazon Kinesis、Google Cloud Pub/Sub 或 Apache Pulsar。
边栏推荐
猜你喜欢
香橙派OrangePi 4 LTS开发板通过Mini PCIE连接SATA硬盘的操作方法
[STM32] actual combat 3.1 - drive 42 stepper motors with STM32 and tb6600 drivers (I)
Input type= "password" how to solve the problem of password automatically brought in
[système recommandé 01] rechub
uniCloud
[recommendation system 02] deepfm, youtubednn, DSSM, MMOE
Idea shortcut keys
[untitled]
从色情直播到直播电商
[actual combat] transformer architecture of the major medical segmentation challenges on the list --nnformer
随机推荐
How much review time does it usually take to take the intermediate soft exam?
2021-04-23
China Southern Airlines pa3.1
Opencv installation and environment configuration - vs2017
Use load_ decathlon_ Datalist (Monai) fast loading JSON data
The gun startles the dragon, and the crowd "locks" Zhou Zhi
Cmake learning manual
Idea shortcut keys
I plan to take part in security work. How about information security engineers and how to prepare for the soft exam?
Go-Redis 中间件
From pornographic live broadcast to live broadcast E-commerce
Poj1821 fence problem solving Report
mif 文件格式记录
[C #] the solution of WinForm operation zoom (blur)
uniapp 在onLaunch中跳转页面后,点击事件失效解决方法
关于jmeter中编写shell脚本json的应用
VR development optimization
How to remove addition and subtraction from inputnumber input box
單調性約束與反單調性約束的區別 monotonicity and anti-monotonicity constraint
Deep understanding of Apache Hudi asynchronous indexing mechanism