codis迁移槽位遇到value过大的数据导致redis进程堵塞问题

codis迁移槽位遇到value过大的数据导致redis进程堵塞问题

网站建设哪家好,找成都创新互联!专注于网页设计、网站建设、微信开发、微信小程序、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了怒江州免费建站欢迎大家使用!

问题背景:

2016-11-08下午,咨询codis开始迁移槽位。迁移过程中dba发现group1中redis无法连接,proxy进程异常退出且无法重启。

当redis可以正常连接时dashboard展示为:

codis迁移槽位遇到value过大的数据导致redis进程堵塞问题

而问题发生时此redis是不可连接的,Keys无法显示正确显示,只显示Nan。

 

proxy进程异常退出会收到微信报警:

[('NoneType' object has no attribute '__getitem__')10.20.4.1:19153(KDDI)](codis_proxy) [r_connection],threshold: 1,current:0,last:1 minutes.,info:failed [2016-11-08 15:32:35]

处理方案:

1.将备用proxy服务器加入域名,待生效后移除异常proxy的域名。

2.排查dashboard日志,问题如下:

codis迁移槽位遇到value过大的数据导致redis进程堵塞问题

codis迁移槽位遇到value过大的数据导致redis进程堵塞问题

从日志可以看出迁移过程中slot_359迁移完成,solt_360迁移过程中报错,报错显示redis读取超时,持续一段时间后迁移任务报错([info] migration start: {SlotId:360 NewGroupId:4 Delay:1 CreateAt:1478588644 Percent:0 Status:error Id:0000003317})

3.手动取消迁移任务

登录zookeeper:/usr/local/xywy/zookeeper-3.4.6/bin/zkCli.sh -server 10.20.4.1:2181

rmr /zk/codis/db_techzixun/migrate_tasks/0000003317

4.重启proxy进程

如果无法重启,那么说明取消迁移任务时可能影响了槽位的状态。排查日志可以看到报错为:

codis迁移槽位遇到value过大的数据导致redis进程堵塞问题

codis迁移槽位遇到value过大的数据导致redis进程堵塞问题

从日志中可以看出槽位状态为pre_migrate。调整为online即可。

调整方法:

登录zookeeper后

查看对应槽位的值:get /zk/codis/db_techzixun/slots/slot_392

修改status为online:set /zk/codis/db_techzixun/slots/slot_392 {"product_name":"techzixun","id":392,"group_id":1,"state":{"status":"online","migrate_status":{"from":-1,"to":-1},"last_op_ts":"0"}}

所有槽位状态都为online时即可重启proxy

5.重启proxy后将其加入域名,此时故障已恢复

后续排查:

以上步骤为处理故障的操作,但迁移为什么出错,想要究其原因还需进一步排查。

查看group1中报错redis的日志,问题如下:

[113248] 08 Nov 15:16:20.764 # slotsmgrt: writing to target 10.20.2.4:6916, error 'accept: Resource temporarily unavailable', nkeys = 1, onekey = 'jbzt_nk_20219_arclist', cmd.len = 1418791367, pos = 65536, towrite = 65536

使用redis命令扫描大key:

redis-cli -p xxxx -h xxxx --bigkeys

发现'jbzt_nk_20219_arclist'这个list容量达到3G左右

由此可见问题的原因是迁移value过的的key或list导致

 

解决方案:

该问题为codis程序问题,在codis中暂时无法使用技术手段解决。只能对这种value过大的key或list进行压缩或者选择其他使用方式。

 

 

遗留问题:

问题描述:

codis迁移槽位过程中出错时会导致槽位状态一直为迁移中,槽位状态为迁移中proxy不能上线,所以手动将槽位状态修改为上线。但此时未迁移成功的key路由信息还记录为迁移前group,而迁移前槽位的group信息已更新为迁移后的group,这就导致了查找未成功迁移的key时会无法连接的错误。

解决方法:

将无法连接的key所在槽位迁移至原所属group即可。查找key时可以通过proxy.log观察确认路由到哪个ip端口下从而确定原所属group,利用python下binascii.crc32算法binascii.crc32('key_name')%1024计算key所在槽位。

举例说明:

codis中有2个group。分别为group1,group2。group1中100槽位中有1,2,3,4,5,6。6个key,group2中没有key,此时将group1中100槽位迁移至group2中,迁移过程中1、2、3key已成功迁移4key由于value过大导致迁移出错,此时100槽位所属group2,槽位状态为迁移中,手动删除迁移任务将100槽位状态修改为上线后,连接proxy查找4、5、6key则出现无法连接错误。原因就是4、5、6key的的路由信息还是group1中的100槽位,但此时100槽位已经不在group1下了,那么将100槽位迁移回group1下即可解决。

 

 


当前文章:codis迁移槽位遇到value过大的数据导致redis进程堵塞问题
标题路径:http://myzitong.com/article/jjopeo.html