Kafka实战
01、Kafka：为什么要使用消息队列
02、Kafka：消息队列的流派
03、Kafka：安装Kafka服务器
04、Kafka：实现生产者和消费者
05、Kafka：消息的偏移量和顺序消费原理
06、Kafka：单播和多播消息的实现
07、Kafka：主题和分区的概念
08、Kafka：搭建Kafka集群
09、Kafka：副本的概念
10、Kafka：集群消费问题
11、Kafka：Java中Kafka生产者的基本实现
12、Kafka：生产者端的同步发送和异步发送
13、Kafka：生产者中的ack配置
14、Kafka：发送消息的缓冲区机制
15、Kafka：消费者消费消息的基本实现
16、Kafka：Offset的自动提交和手动提交
17、Kafka：消费者poll消息的细节与消费者心跳配置
18、Kafka：指定分区和偏移量，时间消费
19、Kafka：新消费组的消费offset规则
20、Kafka：SpringBoot中使用Kafka的基本实现
21、Kafka：消费者的配置细节
22、Kafka：Kafka中Controller，Rebalance，HW，LEO的概念
23、Kafka：Kafka优化之防止消息丢失和重复消费
24、Kafka：Kafka优化之顺序消费的实现
25、Kafka：Kafka优化之解决消息积压问题
26、Kafka：Kafka优化之实现延时队列
27、Kafka：Kafka-eagle监控平台
28、Kafka：Linux部署Kafka集群
29、Kafka：Docker-compose部署Kafka集群
本文档使用 MrDoc 发布
-
+
home page
22、Kafka：Kafka中Controller，Rebalance，HW，LEO的概念
**Kafka中Controller，Rebalance，HW，LEO的概念** **Controller** - 集群中谁来充当controller 每个broker启动时会向zk创建⼀个临时序号节点，获得的序号最⼩的那个broker将会作为集群中的controller，负责这么⼏件事： - 当集群中有⼀个副本的leader挂掉，需要在集群中选举出⼀个新的leader，选举的规则是从isr集合中最左边获得。 - 当集群中有broker新增或减少，controller会同步信息给其他broker - 当集群中有分区新增或减少，controller会同步信息给其他broker **Rebalance机制** - 前提：消费组中的消费者没有指明分区来消费 - 触发的条件：当消费组中的消费者和分区的关系发⽣变化的时候 - 分区分配的策略：在rebalance之前，分区怎么分配会有这么三种策略 - range：根据公示计算得到每个消费消费哪⼏个分区：前⾯的消费者是分区总数/消费者数量+1,之后的消费者是分区总数/消费者数量 - 轮询：⼤家轮着来 - sticky：粘合策略，如果需要rebalance，会在之前已分配的基础上调整，不会改变之前的分配情况。如果这个策略没有开，那么就要进⾏全部的重新分配。建议开启。 range  轮询，Sticky  **HW和LEO** - LEO是某个副本最后消息的消息位置（log-end-offset） - HW是已完成同步的位置。消息在写⼊broker时，且每个broker完成这条消息的同步后，hw才会变化。在这之前消费者是消费不到这条消息的。在同步完成之后，HW更新之后，消费者才能消费到这条消息，这样的⽬的是防⽌消息的丢失。 
李智
March 17, 2025, 1:29 p.m.
转发文档
Collection documents
Last
Next
手机扫码
Copy link
手机扫一扫转发分享
Copy link
Markdown文件
share
link
type
password
Update password