58到家多端消息整合之路
经历野蛮发展阶段后,58到家存在众多消息收发场景及不同技术。案例分享总结多个业务场景下消息收发的难点与挑战,梳理各项技术的特点,结合实际业务及研发需求,构建了一套通用消息投递方案。方案建立统一的端到端、端到服务器、服务器到端的消息通道,对业务方屏蔽不同技术的差异,提供消息到达率等核心指标的监控统计。实现业务线能够快速接入各类消息服务的目标。
创新互联公司是一家专注于成都网站建设、做网站与策划设计,南票网站建设哪家好?创新互联公司做网站,专注于网站建设10余年,网设计领域的专业建站公司;建站业务涵盖:南票等地区。南票做网站价格咨询:18980820575
实践的具体过程、步骤和方法可供同行借鉴。
一.问题的提出
1.1 到家业务复杂
58到家是一家做生活服务类O2O业务的创业公司,势头很猛,业务发展迅速。公司自营三大业务,家政、丽人、速运。找保洁、保姆、月嫂可以使用家政业务;做个指甲美个容可以使用丽人业务;拉货搬家可以找速运。除了三大自营业务,还有非常重要的开放平台,商家在开放平台上发布服务,用户消费服务。开放平台涵盖了你能想到的各种内容,从开锁到换灯泡,从送花到健身。
1.2 消息需求多样
众多业务和不同场景,给消息系统带来很大的挑战。比如速运业务,用户需要搬家,拿出手机查看司机位置,下单,司机抢单,运送完成后计算路程,这些业务都要求及时高效的传递订单及经纬度信息;又比如用户资产变化或者优惠券即将到期,系统需要给用户推送提示信息,而到家的用户不会一直开着58到家的应用,我们需要低成本有效地将提示类信息送达用户;开放平台里,用户需要跟商家沟通,了解提供的服务或商品的具体情况,系统需要确保用户商家不同时在线的情况下能够实现交流。
1.3 重复开发严重
为了应对业务的快速发展,初创公司都会怎么容易实现怎么来。结果建设了众多的消息系统,散落在各个业务线。有的用MQTT,有的用HTTP,有的用个推,有的用米推,消息协议不一致,互联互通存在障碍。研发人员需要熟悉多套消息系统,研发效率低下,研发质量很难保证。
图1:混乱的消息系统
因此迫切需要建设一个统一的消息系统,对研发人员屏蔽细节,提升开发效率,提高开发质量。
二.解决思路
2.1 统一消息平台
统一消息平台主要包括四大部分,TCP消息系统、推送通道、策略中心、端。
图2:统一消息平台架构
1、TCP消息系统。自研的基于TCP协议的消息系统,支持端到端、端到服务器、服务器到端的消息传递,具有性能高、开销小等优点。用于逐步替换五花八门的消息系统。
2、推送通道,强化推送消息能力。整合个推、米推、APNS、微信、短信等消息推送方式。自研的TCP消息系统也是一种消息推送方式。
3、策略中心,人为配置消息投递的策略,可以根据消息可达率,或者业务场景需要,进行修改。
4、端,主要是指移动端。统一消息平台提供统一的SDK,支持移动端与消息平台服务器的交互。同时,端还包括微信、手机短信等用户常用的接收消息的软件。
在这个架构下,业务研发人员只需关注端上的统一SDK,和服务器端统一消息交互接口。其他的精力都可以放在处理业务逻辑上。
2.2 TCP消息系统
TCP消息系统的整体结构如下图。
图3:TCP消息系统
虚线框描述了TCP消息系统的功能组成。包括接入层(msg-gate)、逻辑层(msg-logic)、ip配置(ipconfig)、路由缓存(redis)四大部分。
1、接入层
图中的msg-gate模块是接入层,主要功能包括,
连接整流:维护与客户端的海量TCP长连接,将外界海量TCP长连接整流为少量与后端msg-logic的TCP长连接。
安全信道:建立安全的TCP信道,加密与解密。
初步攻防:实施初步的anti-attack策略,限速策略,消息体大小限制。
消息投递:将msg-logic投递过来的消息发送给客户端。
2、逻辑层
msg-logic模块叫逻辑层,主要功能包括,
连接验证(可以理解为在消息系统中登录)。
APP向app-server发送消息的接口,可以理解为C2S接口。
app-server向APP发送消息的接口,包括单发和群发。
3、Redis缓存
缓存业务客户端的连接状态,连到哪一个msg-gate,连接状态是否正常。用于向用户推送消息时,提供消息路由。
4、ipconfig
为客户端提供接入层ip地址,实现负载均衡、业务分组等功能。
2.2.1 Session管理
接入层保持着与海量客户端的TCP长连接,需要实时跟踪这些连接的状态,TCP消息系统将客户端的连接信息保存在接入层的内存中,叫做session。session记录了客户端对应的channel,可以理解为socketid,标记了登录状态isLogin,登录时间loginTime,和最后活跃时间lastKeepAliveTime。
session需要状态及信息需要实时维护,维护时机主要包括一下内容。
1、登录、登出很好理解,需要修改Peer的登录状态。
2、Keepalive,心跳需要修改session的最后活跃时间。
3、Logic层请求踢人,来自后端的踢人请求。
4、接入层对某个客户端的限速、客户端发消息速度过快会被认为是攻击行为,强制断开连接。
5、socket可能发生异常,非法消息,通不过消息头校验,也需要断开连接。
6、还有一种情况,客户端连接到服务器后,没有传输任何消息,这种情况有可能是网络原因造成的,也有可能是疑似攻击行为。我们需要定时遍历所有session,发现长时间不活跃的session,将它清除掉。
这么多的读写维护session的场景,归结起来有3类。1、通过业务属性用户id定位session;2、通过channel定位session;3、遍历session。
下图是session结构图。
图4:session结构图
session管理主要包括3个结构,中间的Map是保存Peer的核心数据结构,可以通过channelid检索到session。右侧的双向Map保存uid和channelid的映射关系,双向Map可以根据uid检索channelid,也可以根据channelid检索uid,为什么用双向结构,后续会提到。
左侧的队列保存有连接到接入服务器的所有客户端的channelid,队列采用无锁实现方式,定时任务逐条遍历session,不会产生锁,不影响性能。
定时任务从队列读出channelid1,判断channel1是否正常,如果发现长时间不活跃,认为对应的客户端没有连接到接入服务器。需要将HashMap中的session清除,同时需要将BiMap对应的数据清除,清楚BiMap数据的时候,需要根据channelid定位数据,这就是双向Map的用处。
其他的根据uid或者channelid定位并修改数据的请求也不会产生锁,不会对性能构成影响。
有一个点要注意,在新增或删除Peer的时候,需要做好相应的并发控制。
2.2.1 离线消息
离线消息拉取方式如下图。
图5:离线消息逻辑
为了防止一次拉取过多离线消息,拉取方式采用分页拉取的方式。每次拉取10条。
1、APP端拉取离线消息,传递三个参数uid=123, msgid=100,size=10,uid表示是谁拉取消息,msgid是App现有消息中最大的消息id,消息id递增,最大的消息id表示App端最后收到的消息数据。如果App端还没有收到过消息,msgid传0。
2、消息服务器收到拉取离线消息请求,msgid=100表明App端已经收到msgid=100之前的数据。将msgid=100之前的离线消息删除。
3、检索msgid=100之后的10条消息,假设msid从101到110。
4、消息服务器将这10条数据返回App端,完成1页离线数据拉取。
5、如果APP端拉取到的离线消息条数不为0,则APP端将msgid=110做为参数再次请求拉取离线消息,直到服务端不返回数据结束离线消息拉取。
2.3 推送通道
58到家的用户不会经常打开App, TCP消息系统很可能无法及时把消息送达用户。类似限时抢购类的活动,必须在某个时间把消息投送给用户,单靠TCP消息系统无法满足需求。
统一消息推送通道,整合TCP、个推、米推、APNS、微信、短信等消息推送方式,尽最大可能确保消息送达用户。统一推送通道结构如下图
图6:统一推送通道结构图
推送通道,核心工作是完成消息到端的推送。不同的通道,推送时所需参数不完全一致,推送通道能够获取相应通道所需的参数。
序号 | 技术通道 | 技术参数 | 外部系统 |
1 | TCP通道 | uid,appCode | TCP通道配置 |
2 | APNS | device_token | App端数据 |
3 | 个推 | imei,CID | App端数据 |
4 | 米推 | imei | App端数据 |
5 | MQTT | token(主题) | |
6 | 微信 | openid | dus |
7 | 短信 | templateId | 短信推送系统 |
图7:推送通道及参数
2.4 策略中心
策略中心支持推送策略的人工配置及自动调整。举两个例子。假设我是健身爱好者,我用App通过TCP消息系统跟健身房老板沟通价格,结果健身房老板没有打开58到家的App,收不到我的消息,这时系统可以根据策略中心的策略,通过APNS或者个推、米推向健身房老板发出消息提醒;再比如,某人确定找一个美甲师做美甲,这个信息对美甲师非常重要,策略中心的一个投递策略很可能是push的同时给美甲师发送短信。
策略中心结构如下图,
图8:策略中心结构图
策略配置模块。人为配置消息推送的策略,便于根据消息可达率,或者业务场景需要,修改消息推送策略。比如前面提到的产品来回调整推送通道,就可以通过这个模块进行配置。
策略解析,解析推送消息策略。读取配置的消息发送策略。同时根据手机类型选择推送通道,小米手机用米推、其他android手机用个推、苹果用apns。
如果是多个通道推送,需要确认是 并行推送(比如资产变化,同时通过APNS、微信推送)或顺序推送(根据ACK情况、如速运订单,优先通过TCP通道推送,如果规定时间没有收到ACK,则通过个推或米推推送)。
计时调度器,根据推送策略,定时探查消息缓存,判断消息是否已送达。依据推送策略进行其他渠道推送或反馈消息是否送达结果。
ACK检测,判断消息是否送达,通过哪个通道送达。
2.5 端
提供统一的移动端开发SDK来支持整个移动端的消息传输。端上SDK有四个核心要点,保活、消息去重、TCP重连随机延时和电量控制。
保活:确保在各种型号手机上,TCP链接可用,是消息传输是否正常的最关键因素。
消息去重,采用了内存队列+SQLite的技术实现,确保在复杂网络环境下,呈现给用户的消息不出现重复情况。
TCP重连随机延时,避免TCP接入服务器意外挂掉后,大量客户端同时发起对其他服务器的连接请求导致雪崩。
控制耗电量是移动开发都需要注意的问题。
三.实践过程
3.1 抽象到家复杂的消息场景
面对复杂的业务,首先需要进行抽象建模,下图展示了消息类型的划分。
图9:消息分类
图中上边一排的手机和笔记本图标在消息系统中我们叫它为端,或者客户端,英文用client表示。中间云的图标是我们的统一消息平台。下边的服务器图标,是业务服务器,英文用sever表示。
到家各种复杂的消息需求,可以抽象为3类。
1、C2S,client to server。例如速运司机手机端,需要将开车轨迹的经纬度近实时的传递到速运后台服务器,服务器才能根据行车轨迹计算车费。
2、S2C,server to client。用户有张保洁优惠券快到期了,服务器需要通知用户。这类由服务器主动发起推送的消息。
3、C2C,client to client。开放平台业务,用户需要咨询商家问题,将问题发给商家,商家进行回答。
3.2目标明确,循序渐进
1、系统需要实现的目标明确。统一消息平台在规划之初已经考虑到了支持3类消息,同时预见到需要强化消息推送能力以及灵活配置能力。总体结构图包括的四大部分,TCP消息系统,推送通道,策略中心,端,确保能够达成最终目标。
2、循序渐进地推动实施。具体实施中,首先研发TCP消息系统,解决大量消息传输的痛点,并逐步推广到各个业务;接着整合多种推送通道,增加推送策略。实施阶段的每一步,都能让业务线看到成效,消息平台也得以在这个过程中快速推广。
名称栏目:58到家多端消息整合之路
网页链接:http://myzitong.com/article/jhhsed.html