当前位置:网站首页>第5章 消费者组详解
第5章 消费者组详解
2022-07-06 09:29:00 【留不住斜阳】
5.1 消费者组概念
什么是consumer group?
consumer group是kafka提供的可扩展且具有容错性的消费者机制。既然是一个组,那么组内必然可以有多个消费者或消费者实例(consumer instance),它们共享一个公共的ID,即group ID。组内的所有消费者协调在一起来消费订阅的主题(subscribed topics)的所有分区(partition)。每个分区只能由同一个消费组内的一个consumer来消费。
consumer group三个特征
- consumer group可以有一个或多个consumer instance,consumer instance可以是一个进程,也可以是一个线程
- group.id是一个字符串,唯一标识一个consumer group
- consumer group订阅的topic的每个分区只能分配给某个group下的一个consumer(当然该分区还可以被分配给其他group)
5.2 消费者位置
消费者在消费的过程中需要记录自己消费了多少数据,即消费位置信息。在Kafka中这个位置信息有个专门的术语:位移(offset)。很多消息引擎都把这部分信息保存在服务器端(broker端)。这样做的好处是实现简单,但会有三个主要的问题:
- broker从此变成有状态的,会影响伸缩性;
- 需要引入应答机制(acknowledgement)来确认消费成功。
- 由于要保存很多consumer的offset信息,必然引入复杂的数据结构,造成资源浪费。
而Kafka选择了不同的方式,每个consumer group保存自己的位移信息,那么只需要一个整数表示位置就够了;同时可以引入checkpoint机制定期持久化,简化了应答机制的实现。
5.3 位移管理
5.3.1 自动VS手动
Kafka默认定期自动提交位移(enable.auto.commit = true
),当然可以选择手动提交位移实现。另外kafka会定期把group消费情况保存起来,做成一个offset map,如下图所示
5.3.2 位移提交
老版本的位移是提交到zookeeper中,目录结构是/consumers/<group.id>/offsets/<topic>/<partitionId>
,但是zookeeper其实并不适合进行大批量的读写操作,尤其是写操作。因此kafka提供了另一种解决方案:增加__consumer_offsets
topic,将offset信息写入这个topic,摆脱对zookeeper的依赖(指保存offset这件事情)。__consumer_offsets中的消息保存了每个consumer group某一时刻提交的offset信息。依然以上图中的consumer group为例,格式大概如下
边栏推荐
- Tree of life (tree DP)
- Market trend report, technical innovation and market forecast of double-sided foam tape in China
- Input can only input numbers, limited input
- 生成随机密码/验证码
- Acwing: Game 58 of the week
- Generate random password / verification code
- AcWing——第55场周赛
- Acwing: the 56th weekly match
- Codeforces Round #801 (Div. 2)A~C
- (POJ - 2739) sum of constructive prime numbers (ruler or two points)
猜你喜欢
力扣:第81场双周赛
原生js实现全选和反选的功能 --冯浩的博客
Summary of game theory
业务系统兼容数据库Oracle/PostgreSQL(openGauss)/MySQL的琐事
QT实现窗口置顶、置顶状态切换、多窗口置顶优先关系
Hbuilder X格式化快捷键设置
解决Intel12代酷睿CPU单线程只给小核运行的问题
1855. Maximum distance of subscript alignment
It is forbidden to trigger onchange in antd upload beforeupload
2027. Minimum number of operations to convert strings
随机推荐
1323. Maximum number of 6 and 9
Codeforces Round #801 (Div. 2)A~C
1689. Ten - the minimum number of binary numbers
useEffect,函數組件掛載和卸載時觸發
日期加1天
Install Jupiter notebook under Anaconda
Codeforces Round #803 (Div. 2)A~C
antd upload beforeUpload中禁止触发onchange
Double specific tyrosine phosphorylation regulated kinase 1A Industry Research Report - market status analysis and development prospect prediction
< li> dot style list style type
QT实现窗口置顶、置顶状态切换、多窗口置顶优先关系
969. Pancake sorting
QT实现窗口渐变消失QPropertyAnimation+进度条
(POJ - 2739) sum of constructive prime numbers (ruler or two points)
解决Intel12代酷睿CPU单线程调度问题(二)
Effet d'utilisation, déclenché lorsque les composants de la fonction sont montés et déchargés
Market trend report, technical innovation and market forecast of double-sided foam tape in China
(lightoj - 1369) answering queries (thinking)
Spark独立集群动态上线下线Worker节点
Research Report on hearing health care equipment industry - market status analysis and development prospect prediction