Pulsar Geo Replication/灾备/地域复制

目录

1.复制机制/mechanisms

（1）Pulsar中的异步地理复制

（2）通过BookKeeper同步地理复制

2.复制模式/patterns

（1）网状拓扑复制

（2）Active-active 复制

（3）Active-standby replication / 主动-备用复制​

（4）聚合复制 / Aggregation replication

---

Pulsar 的地理复制机制通常用于灾难恢复，支持持久存储的数据跨多个数据中心复制。例如，你的应用程序正在一个地区发布数据，而您希望处理这些数据以供其他地区消费。利用 Pulsar 的地理复制机制，可以在不同的地理位置生成和消费消息。

下图说明了地理复制的过程。每当生产者（P1、P2 和 P3）分别在三个不同集群中向主题T1发布消息时，此时消息会立即在集群中复制。一旦消息被复制，消费者（C1和C2）就可以在各自的集群中消费这些消息。

1.复制机制/mechanisms

地理复制机制可分为同步地理复制和异步地理复制机制。Pulsar 支持这两种复制机制。

（1）Pulsar中的异步地理复制

异步地理复制群集由设置在不同数据中心的多个物理群集组成。Pulsar 主题产生的消息首先持久化到本地集群，然后由 brokers 异步复制到远程集群。

在正常情况下，当没有连接问题时，消息会立即复制，同时发送给本地消费者。通常，端到端的交付延迟由数据中心之间的网络往返时间（RTT）定义。应用程序可以在任何集群中创建生产者和消费者，即使远程集群无法访问（例如，在网络分区期间）。

异步地理复制提供了较低的延迟，由于某些数据尚未复制，可能存在复制延迟，导致数据的一致性保证较弱。

（2）通过BookKeeper同步地理复制

在同步地理复制中，数据同步复制到多个数据中心，客户端必须等待其他数据中心的确认。如下图所示，当客户端向一个集群发出写入请求时，写入的数据将复制到其他两个数据中心。只有当大多数数据中心（在本例中，至少有2个数据中心）已确认写入已持久化时，才向客户端确认写入请求。

Pulsar 中的同步地理复制由 BookKeeper 实现。同步地理复制集群包括一个在多个数据中心运行的 bookies 集群和一个 brokers 集群，以及一个全局 Zookeeper 安装（Zookeeper 集成在多个数据中心运行）。您需要配置一个 BookKeeper region-aware 的放置策略，以跨多个数据中心存储数据，并保证写操作的可用性约束（availability constraints on writes）。

同步地理复制提供了最高的可用性，还保证了不同数据中心之间更强的数据一致性。但是，您的应用程序必须承担额外的跨数据中心延迟代价。

2.复制模式/patterns

Pulsar 为定制复制策略提供了极大的灵活性。您可以设置不同的复制模式，为多个数据中心之间的应用程序提供复制策略。

（1）网状拓扑复制

使用网状拓扑复制（Full-mesh replication）并应用选择性消息复制，您可以在任意数量的数据中心之间自定义复制策略和拓扑。

（2）Active-active 复制

Active-active 复制是网状拓扑复制的一种变体，只有两个数据中心。生产者可以在任何数据中心运行和生成消息，消费者可以消费来自所有数据中心的所有消息。

（3）Active-standby replication / 主动-备用复制​

Active-standby 复制是 Active-active 复制的一种变体。生产者向活动数据中心发送消息，同时将消息复制到备用数据中心进行备份。如果活动数据中心关闭，备用数据中心将接管并成为活动数据中心。

（4）聚合复制 / Aggregation replication

聚合复制模式通常用于将消息从边缘（灾难的边缘）复制到云。例如，假设您在3个前置数据中心中有3个集群，在一个中央数据中心中有一个聚合集群，并且您希望将多个前置数据中心的消息复制到中央数据中心以进行聚合。然后，您可以为每个前置数据中心使用的主题创建一个单独的命名空间，并将聚合的数据中心分配给这些命名空间。