Debezium同步之Debezium架构详解

最常见的是，您通过 Apache Kafka Connect部署 Debezium 。Kafka Connect 是一个用于实现和操作的框架和运行时：

• 将记录发送到 Kafka 的源连接器，例如 Debezium

• 将记录从 Kafka 主题传播到其他系统的接收器连接器

下图显示了基于 Debezium 的变更数据捕获管道的架构：

如图所示，部署了用于 MySQL 和 PostgresSQL 的 Debezium 连接器来捕获对这两种类型的数据库的更改。每个 Debezium 连接器都建立到其源数据库的连接：

• MySQL 连接器使用客户端库来访问binlog.

• PostgreSQL 连接器从逻辑复制流中读取。

Kafka Connect 作为 Kafka 代理之外的单独服务运行。

默认情况下，来自一个数据库表的更改将写入名称与表名对应的 Kafka 主题。如果需要，您可以通过配置 Debezium 的主题路由转换来调整目标主题名称。例如，您可以：

• 将记录路由到名称与表名不同的主题

• 将多个表的更改事件记录流式传输到单个主题中

更改事件记录在 Apache Kafka 中后，Kafka Connect 生态系统中的不同连接器可以将记录流式传输到其他系统和数据库，例如 Elasticsearch、数据仓库和分析系统，或 Infinispan 等缓存。根据所选的接收器连接器，您可能需要配置 Debezium 的新记录状态提取转换。此 Kafka Connect SMT 将after结构从 Debezium 的更改事件传播到接收器连接器。这代替了默认传播的详细更改事件记录。

   Debezium 服务器

部署 Debezium 的另一种方法是使用Debezium 服务器。Debezium 服务器是一个可配置的、即用型的应用程序，它将更改事件从源数据库流式传输到各种消息传递基础设施。

下图显示了使用 Debezium 服务器的变更数据捕获管道的架构：

Debezium 服务器配置为使用 Debezium 源连接器之一从源数据库捕获更改。更改事件可以序列化为不同的格式，如 JSON 或 Apache Avro，然后将发送到各种消息传递基础设施之一，如 Amazon Kinesis、Google Cloud Pub/Sub 或 Apache Pulsar。

   嵌入式引擎

然而，使用 Debezium 连接器的另一种方法是嵌入式引擎。在这种情况下，Debezium 将不会通过 Kafka Connect 运行，而是作为嵌入到您的自定义 Java 应用程序中的库。这对于在应用程序本身中使用更改事件（无需部署完整的 Kafka 和 Kafka Connect 集群）或将更改流式传输到 Amazon Kinesis 等替代消息传递代理非常有用。您可以在示例存储库中找到后者的示例。