Kafka中怎么保证消息不丢失重复

Kafka中怎么保证消息不丢失重复,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。

网站建设哪家好,找创新互联!专注于网页设计、网站建设、微信开发、小程序开发、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了磴口免费建站欢迎大家使用!

  • 消费端重复消费:

    • 建立去重表

  • 消费端丢失数据:

    • 关闭自动提交offset,处理完之后受到移位

  • 生产端重复发送:

    • 这个不重要,消费端消费之前从去重表中判重就可以

  • 生产端丢失数据:

    • 1、异步方式缓冲区满了,就阻塞在那,等着缓冲区可用,不能清空缓冲区

    • 2、发送消息之后回调函数,发送成功就发送下一条,

    • 发送失败就记在日志里,等着定时脚本(定时器)来扫描

    • (发送失败可能并不真的发送失败,只是没收到反馈,定时脚本可能会重发)

    • 解决策略:

如何保证有序(同步发送能保证顺序):

  • 同步发送模式:发出消息后,必须阻塞等待收到通知后,才发送下一条消息

  • 异步发送模式:一直往缓冲区写,然后一把写到队列中去

  • 两者都是各有利弊:

    • 同步发送模式虽然吞吐量小,但是发一条收到确认后再发下一条,既能保证不丢失消息,又能保证顺序

kafka数据丢失原因:

  1. 有3种状态(0(不需要等待确认)、1(leader确认)、-1(all确认))保证消息被安全生产,

    • 在配置状态为1(只保证写入leader成功的话),如果刚好leader partition挂了,数据就会丢失

  2. 使用异步模式的时候,当缓存区满了,

    • 如果配置状态为0(还没收到确认的情况下,缓冲池一满,就清空缓冲池里的消息),数据就会被立马丢弃掉

  3. 如果配置状态为-1

    • 由于ISR可能会缩小到仅包含一个Replica,所以设置参数为all并不能一定避免数据丢失

在数据生产时避免数据丢失的方法:

  • 只要能避免上述两种情况,那么就可以保证消息不会被丢失。

看完上述内容是否对您有帮助呢?如果还想对相关知识有进一步的了解或阅读更多相关文章,请关注创新互联行业资讯频道,感谢您对创新互联的支持。


本文标题:Kafka中怎么保证消息不丢失重复
转载注明:http://myzitong.com/article/pejieo.html