Kafka实战
01、Kafka：为什么要使用消息队列
02、Kafka：消息队列的流派
03、Kafka：安装Kafka服务器
04、Kafka：实现生产者和消费者
05、Kafka：消息的偏移量和顺序消费原理
06、Kafka：单播和多播消息的实现
07、Kafka：主题和分区的概念
08、Kafka：搭建Kafka集群
09、Kafka：副本的概念
10、Kafka：集群消费问题
11、Kafka：Java中Kafka生产者的基本实现
12、Kafka：生产者端的同步发送和异步发送
13、Kafka：生产者中的ack配置
14、Kafka：发送消息的缓冲区机制
15、Kafka：消费者消费消息的基本实现
16、Kafka：Offset的自动提交和手动提交
17、Kafka：消费者poll消息的细节与消费者心跳配置
18、Kafka：指定分区和偏移量，时间消费
19、Kafka：新消费组的消费offset规则
20、Kafka：SpringBoot中使用Kafka的基本实现
21、Kafka：消费者的配置细节
22、Kafka：Kafka中Controller，Rebalance，HW，LEO的概念
23、Kafka：Kafka优化之防止消息丢失和重复消费
24、Kafka：Kafka优化之顺序消费的实现
25、Kafka：Kafka优化之解决消息积压问题
26、Kafka：Kafka优化之实现延时队列
27、Kafka：Kafka-eagle监控平台
28、Kafka：Linux部署Kafka集群
29、Kafka：Docker-compose部署Kafka集群
本文档使用 MrDoc 发布
-
+
home page
25、Kafka：Kafka优化之解决消息积压问题
### **Kafka优化之解决消息积压问题** 消费者消费能力过弱  **消息积压问题的出现** 消息的消费者的消费速度远赶不上⽣产者的⽣产消息的速度，导致kafka中有⼤量的数据没有被消费。随着没有被消费的数据堆积越多，消费者寻址的性能会越来越差，最后导致整个kafka对外提供的服务的性能很差，从⽽造成其他服务也访问速度变慢，造成服务雪崩。 **消息积压的解决方案** - 在这个消费者中，使⽤多线程，充分利⽤机器的性能进⾏消费消息。 - 通过业务的架构设计，提升业务层⾯消费的性能。 - 创建多个消费组，多个消费者，部署到其他机器上，⼀起消费，提⾼消费者的消费速度 - 创建⼀个消费者，该消费者在kafka另建⼀个主题，配上多个分区，多个分区再配上多个消费者。该消费者将poll下来的消息，不进⾏消费，直接转发到新建的主题上。此时，新的主题的多个分区的多个消费者就开始⼀起消费了。——不常⽤ 
李智
March 17, 2025, 1:29 p.m.
转发文档
Collection documents
Last
Next
手机扫码
Copy link
手机扫一扫转发分享
Copy link
Markdown文件
share
link
type
password
Update password