k8s-service中iptableclusterip实现原理
本篇文章为大家展示了k8s-service中iptable cluster ip实现原理,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。
专注于为中小企业提供做网站、成都网站建设服务,电脑端+手机端+微信端的三站合一,更高效的管理,为中小企业抚松免费做网站提供优质的服务。我们立足成都,凝聚了一批互联网行业人才,有力地推动了上千余家企业的稳健成长,帮助中小企业通过网站建设实现规模扩充和转变。
在这里我们主要介绍集群内的负载均衡。对于k8s集群中的服务是需要相互访问的,一般我们都会为之创建相应的service,对于集群内部的service类型我们一般设置成cluster ip。对于一个cluster ip后面会关联多个endpoints,也就是实际的pod。对于cluster ip的访问,也就是实现了对cluster ip关联的多个endpoints访问。关于cluster ip和endpoints的流量负载均衡,一般有iptable方式和ipvs方式,在以前文章里有所介绍。这里我们主要以实际例子来介绍iptable的实现方式。另外cluster ip是虚拟ip,言外之意就是这个ip没有和任何device绑定,所以当你对这个ip进行例如ping或者traceroute命令的时候是不会得到应答的。
查看部署的nginx application的service,我们可以看到:
这个service为cluster ip类型
cluster ip为10.254.226.173
这个cluster ip关联了2个endpoints:10.1.27.4:80和10.1.79.3:80
kubectl describe service service-nginx-app -n default
查看host network namespace iptable的nat表:
iptables -nvL -t nat
对于PREROUTING chain中,所有的流量都走到了KUBE-SERVICES这个target中。请注意PREROUTING chain是流量到达之后的第一个入口。试想我们在pod里运行命令curl http://10.254.226.173,根据以前文章里介绍的容器内部路由表,数据包应该是这样的流动:
在pod中,根据路由表发现cluster ip(10.254.226)走默认路由,选择了默认网关。
在pod中,默认网关的ip地址就是宿主netwok namespace的docker0的ip地址,并且默认网关为直连路由。
在pod中,根据路由表,使用eth0 device发送数据,根据以前文章,eth0本质是veth pair在pod network namespace的一端,另一端attach在宿主netwok namespace的docker0 bridge上。
根据以前文章介绍的veth pair,数据从pod network namespace的一端发出,进入到了attached到docker0 bridge上的另一端。
docker0 bridge收到数据之后,自然就来到了host network namesapce的PREROUTING chain。
查看KUBE-SERVICES target:
iptables -nvL -t nat | grep KUBE-SVC
在KUBE-SERVICES target中我们可以看到目标地址为cluster ip10.254.226.173的匹配target为KUBE-SVC-ETZVW7ENORYJBYB4。
查看KUBE-SVC-ETZVW7ENORYJBYB4 target:
iptables -nvL -t nat
在KUBE-SVC-ETZVW7ENORYJBYB4 target中我们可以看到:
有2个target,分别是KUBE-SEP-L6A5J2X5SCQGCA7Z和KUBE-SEP-U7JQ3R4SRIDMQ4UH
在KUBE-SEP-L6A5J2X5SCQGCA7Z中有statistic mode random probability 0.5
对于statistic mode random probability 0.5是利用了iptable内核随机模块,随机比率为0.5,也就是50%。
所以对于上面的意思是有一半的随机比率进入到KUBE-SEP-L6A5J2X5SCQGCA7Z target当中,那么自然另一个target的随机比率也是一半了。
由此可见,是通过随机模块来均匀的实现负载均衡的。
查看KUBE-SEP-L6A5J2X5SCQGCA7Z和UBE-SEP-L6A5J2X5SCQGCA7Z target:
iptables -nvL -t nat
在这2个target中我们可以看到:
分别做了MASQ操作,当然这个应该是出站engress流量(限定了source ip),不是我们的入站ingress流量。
做了DNAT操作,把原来的cluster ip给DANT转换成了pod的ip 10.1.27.4和10.1.79.3。把原来的port转换成了80 port
经过这个一系列iptable的target我们的原始请求10.254.226.173:80就变成了10.1.27.4:80或者10.1.79.3:80,而且两者转变的机率各是50%。
根据iptable,经过PREROUTING chain发现DNAT之后的10.1.27.4或者10.1.79.3不是本地的ip(肯定不是,因为这两个ip是pod的ip,当然不会在host的network namespace里)。所以就走到了Forwarding chain中,根据host network namespace的路由表来决定下一跳地址。
所以综合上面的例子,对于ipable方式的k8s集群内cluster-ip类型的service总结为:
流量从pod network namespace中走到host netwok namespace的docker0中。
在host netwok namespace的PREROUTING chain中会经过一系列target。
在这些target里根据iptable内核随机模块来实现匹配endpoint target,随机比率为均匀分配,实现均匀的负载均衡。
在endpoint target里实现了DNAT,也就是将目标地址cluster ip转化为实际的pod的ip。
cluster ip是虚拟ip,不会和任何device绑定。
负载均衡为内核实现,使用均匀负载均衡,不可以有自定义的负载均衡算法。
需要host开启路由转发功能(net.ipv4.ip_forward = 1)。
数据包在host netwok namespace中经过转换以及DNAT之后,由host network namespace的路由表来决定下一跳地址。
上述内容就是k8s-service中iptable cluster ip实现原理,你们学到知识或技能了吗?如果还想学到更多技能或者丰富自己的知识储备,欢迎关注创新互联行业资讯频道。
网站栏目:k8s-service中iptableclusterip实现原理
文章来源:http://myzitong.com/article/gsesio.html