Kafka实战
01、Kafka：为什么要使用消息队列
02、Kafka：消息队列的流派
03、Kafka：安装Kafka服务器
04、Kafka：实现生产者和消费者
05、Kafka：消息的偏移量和顺序消费原理
06、Kafka：单播和多播消息的实现
07、Kafka：主题和分区的概念
08、Kafka：搭建Kafka集群
09、Kafka：副本的概念
10、Kafka：集群消费问题
11、Kafka：Java中Kafka生产者的基本实现
12、Kafka：生产者端的同步发送和异步发送
13、Kafka：生产者中的ack配置
14、Kafka：发送消息的缓冲区机制
15、Kafka：消费者消费消息的基本实现
16、Kafka：Offset的自动提交和手动提交
17、Kafka：消费者poll消息的细节与消费者心跳配置
18、Kafka：指定分区和偏移量，时间消费
19、Kafka：新消费组的消费offset规则
20、Kafka：SpringBoot中使用Kafka的基本实现
21、Kafka：消费者的配置细节
22、Kafka：Kafka中Controller，Rebalance，HW，LEO的概念
23、Kafka：Kafka优化之防止消息丢失和重复消费
24、Kafka：Kafka优化之顺序消费的实现
25、Kafka：Kafka优化之解决消息积压问题
26、Kafka：Kafka优化之实现延时队列
27、Kafka：Kafka-eagle监控平台
28、Kafka：Linux部署Kafka集群
29、Kafka：Docker-compose部署Kafka集群
本文档使用 MrDoc 发布
-
+
首页
23、Kafka：Kafka优化之防止消息丢失和重复消费
**Kafka优化之防止消息丢失和重复消费** **如何防止消息丢失** - ⽣产者：1）使⽤同步发送 2）把ack设成1或者all，并且设置同步的分区数>=2 - 消费者：把⾃动提交改成⼿动提交 **如何防止重复消费** 在防⽌消息丢失的⽅案中，如果⽣产者发送完消息后，因为⽹络抖动，没有收到ack，但实际上broker已经收到了。 此时⽣产者会进⾏重试，于是broker就会收到多条相同的消息，⽽造成消费者的重复消费。 怎么解决： - ⽣产者关闭重试：会造成丢消息（不建议） - 消费者解决⾮幂等性消费问题： 所谓的幂等性：多次访问的结果是⼀样的。对于rest的请求（get（幂等）、post（⾮幂等）、put（幂等）、delete（幂等）） 解决⽅案： - 在数据库中创建联合主键，防⽌相同的主键创建出多条记录 - 使⽤分布式锁，以业务id为锁。保证只有⼀条记录能够创建成功 
李智
2025年3月17日 13:29
转发文档
收藏文档
上一篇
下一篇
手机扫码
复制链接
手机扫一扫转发分享
复制链接
Markdown文件
分享
链接
类型
密码
更新密码