Kafka丢数据、重复消费、顺序消费的问题
发布网友
发布时间：9小时前
共1个回答
热心网友
时间：5小时前
面试官提问了Kafka可能遇到的几个关键问题，包括数据丢失、重复消费和顺序消费。在讨论中，候选者详细解释了如何在发送数据时使用带有回调的API来确保数据传输成功，并且提供了在数据发送到Broker后可能出现丢失的三个场景，以及如何通过设置参数避免数据丢失。
候选者还指出，客户端消费数据时，不能使用自动提交，必须手动提交来保证数据不丢失。通过一系列的实现步骤，包括批量拉取消息、分配消息ID、存储映射关系以及处理后提交offset，以确保消息至少被处理一次。尽管这可能导致少量重复消费，但下游系统可以通过实现幂等性来处理重复消息。
在讨论幂等性实现时，候选者以处理订单消息为例，说明了通过Redis进行前置处理和数据库唯一Key作为最终保证的方法。这样，系统能够确保同一订单状态只处理一次，即使在处理过程中遇到顺序问题。
关于顺序消费问题，候选者介绍了宽表策略和消息补偿机制，以及通过将相同用户ID或订单ID的消息发送到相同的分区来解决大部分消费顺序问题。这些方法确保了在广告场景中，即使消息顺序不完全一致，也能通过最终一致性来满足业务需求。
面试官对于候选者的回答表示了认可，表明了对这些解决方案的了解。整个对话展示了候选者对Kafka在数据流处理中的深入理解，以及在面对常见问题时的解决方案。
