ApachePulsar是如何保证消息不丢不重
今天就跟大家聊聊有关Apache Pulsar是如何保证消息不丢不重,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。
创新互联自2013年起,是专业互联网技术服务公司,拥有项目成都网站建设、成都网站制作网站策划,项目实施与项目整合能力。我们以让每一个梦想脱颖而出为使命,1280元金林做网站,已为上家服务,为金林各地企业和个人服务,联系电话:18982081108
人们在探讨流处理引擎(stream processing engine, SPE)时,经常会提到 effectively-once(或 exactly-once)保证。一般情况下,较大的数据管道包含多个组件,而管道中的任何组件都有可能发生故障,SPE 通常只是其中一个小组件。如果用户希望数据管道提供 effectively-once 保证,则管道中的其他(非 SPE)组件需要提供相应的保证。
下面介绍 Apache Pulsar 可以实现的保证类型,以及实现保证的方式。
下图为字数统计应用程序示例:
如上图所示,首先来自数据源(如 Twitter Firehose)的数据被推送到消息系统,然后消息系统将这些数据传输到 SPE 并由 SPE 处理这些数据(即字数统计)。最后,将数据处理结果存储在字数统计数据库中,也可以进一步用作分析。
要想确保数据管道内实现 effectively-once 保证,需要为消息系统和数据源提供 effectively-once 保证。字数统计数据库也可能会发生故障,从而使问题变得更加复杂。但是,该数据库只用于存储字数统计节点的数据副本。因此,即使数据库发生故障,用户也可以很容易地恢复数据库。
当消息系统或 SPE 中发生故障后,为了提供 effectively-once 保证,需要指定故障发生前的一个数据时间点,SPE 可以重新连接到这一时间点的消息系统读取数据。重新连接时,SPE 需要接收发生故障前收到的所有信息。不应该发生消息丢失或消息重复故障。对于绝大多数用户来说,消息顺序也应该相同。
尽管“顺序相同”这一要求本身并非正确性要求,但可以考虑一下消息顺序不同的情况。为了确保不重复消息,消息接收方(即 SPE)必须追踪所有已接收处理的消息。追踪时间越长,存储需求越大。因此 SPE 不适用于长时间运行的系统。所以,消息顺序相同虽然不是一项必须的要求,但的确可以为系统运行带来便利。
没有丢失或重复消息,并且消息顺序相同。这就实现了全序原子广播(TOAB),也就是分布式系统中常提到的共识。
https://en.wikipedia.org/wiki/Consensus_(computer_science)
消息系统想要实现 effectively-once 保证,就必须实现共识或者借助其他外在系统帮助其实现共识。
开源社区提供许多实现共识的常见系统。但是,这些系统一般使用键值( K-V)类型的接口,并不适合存储消息流。而且,键值类型的接口会将数据存储在集群的单一日志副本上。也就是说,当为消息系统向外(横向)扩展多个流时,这些接口的运行就会出现很严重的问题。因此,对用户最友好的系统应该既能提供类似日志的接口,又能向外扩展多个流。
只有极少数系统可以同时提供上述两种功能,而 Apache BookKeeper 便是其中之一。BookKeeper 可以实现 ZooKeeper 要求的一致性,并对其进行水平扩展,因此可以存储日志副本。
Apache Pulsar 使用 BookKeeper 存储与每个 topic 关联的消息流,因此可以实现 effectively-once 保证。BookKeeper 可以为 Pulsar 提供全序原子广播保证,因此客户端可以重连过去任一时间点。Pulsar 通过游标实现这一连接。
Pulsar 利用发布消息的应用程序将数据推送给消息系统,因此需要实现数据的 effiectively-once 保证。Pulsar 通过消息去重机制实现了消息 effiectively-once 保证。
看完上述内容,你们对Apache Pulsar是如何保证消息不丢不重有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注创新互联行业资讯频道,感谢大家的支持。
网站栏目:ApachePulsar是如何保证消息不丢不重
当前链接:http://myzitong.com/article/podpjj.html