Dockerswarm集群的安装配置

一、Docker swarm简介

Swarm是Docker公司推出的用来管理docker集群的平台,几乎全部用GO语言来完成的开发的,代码开源在https://github.com/docker/swarm, 它是将一群Docker宿主机变成一个单一的虚拟主机,Swarm使用标准的Docker API接口作为其前端的访问入口,换言之,各种形式的Docker

成都创新互联-专业网站定制、快速模板网站建设、高性价比浑江网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式浑江网站制作公司更省心,省钱,快速模板网站建设找我们,业务覆盖浑江地区。费用合理售后完善,十载实体公司更值得信赖。

Client(compose,docker-py等)均可以直接与Swarm通信,甚至Docker本身都可以很容易的与Swarm集成,这大大方便了用户将原本基于单节点的系统移植到Swarm上,同时Swarm内置了对Docker网络插件的支持,用户也很容易的部署跨主机的容器集群服务。

从 Docker 1.12.0 版本开始,Docker Swarm 已经包含在 Docker 引擎中(docker swarm),并且已经内置了服务发现工具,我们就不需要像之前一样,再配置 Etcd 或者 Consul 来进行服务发现配置了。

Docker swarm中有三种角色:

  • Manager node:负责执行容器的编排和集群的管理工作,保持并维护swarm处于期望的状态,swarm可以有多个manager node,他们会自动协商选举出一个leader执行编排任务;但相反,不能没有manager node;
  • Worker node:接受并执行由manager node派发的任务,并且默认manager node也是一个work node,不过可以将它设置manager-only node,让它负责编排和管理工作;
  • Service:用来定义worker上执行的命令;

注意:在一个Docker Swarm群集中,每台docker服务器的角色可以都是manager,但是,不可以都是worker,也就是说,不可以群龙无首,并且,参与群集的所有主机名,千万不可以冲突。

二、环境准备

Docker swarm集群的安装配置

注意事项:

  • 保证时间同步;
  • 关闭防火墙与SElinux(实验环境);
  • 更改主机名;
  • 编写host文件,保证可以i进行域名解析;

三、初始化Swarm群集

[root@node01 ~]# tail -3 /etc/hosts       
192.168.1.1 node01
192.168.1.2 node02
192.168.1.3 node03
//三台主机都需配置hosts文件实现域名解析的效果
[root@node01 ~]# docker swarm init --advertise-addr 192.168.1.1
//--advertise-addr:指定与其他node通信的地址

命令的返回信息,如图:
Docker swarm集群的安装配置
图中①的命令:以worker身份加入swarm群集中的命令;
②的命令:以manager身份加入swarm群集中的方法;
出现上图表示初始化成功!注意:--token表示期限为24小时;

四、配置node02、node03加入、离开swarm群集

###################node02的操作如下###################
[root@node02 ~]# docker swarm join --token SWMTKN-1-4pc1gjwjrp9h5dny52j58m0lclq88ngovis0w3rinjd05lklu5-ay18vjhwu7w8gsqvct84fv8ic 192.168.1.1:2377
###################node03的操作如下###################
[root@node03 ~]# docker swarm join --token SWMTKN-1-4pc1gjwjrp9h5dny52j58m0lclq88ngovis0w3rinjd05lklu5-ay18vjhwu7w8gsqvct84fv8ic 192.168.1.1:2377
//node02、node03默认是以worker身份加入的
###################node01的操作如下###################
[root@node01 ~]# docker node ls           
//查看节点详细信息(只能是manager身份才可查看)
ID                            HOSTNAME            STATUS              AVAILABILITY        MANAGER STATUS      ENGINE VERSION
mc3xn4az2r6set3al79nqss7x *   node01              Ready               Active              Leader              18.09.0
olxd9qi9vs5dzes9iicl170ob     node02              Ready               Active                                  18.09.0
i1uee68sxt2puzd5dx3qnm9ck     node03              Ready               Active                                  18.09.0
//可以看出node01、node02、node03的状态为Active
###################node02的操作如下###################
[root@node02 ~]# docker swarm leave
###################node03的操作如下###################
[root@node03 ~]# docker swarm leave
//node02、node03申请离开群集
###################node01的操作如下###################
[root@node01 ~]# docker node ls
ID                            HOSTNAME            STATUS              AVAILABILITY        MANAGER STATUS      ENGINE VERSION
mc3xn4az2r6set3al79nqss7x *   node01              Ready               Active              Leader              18.09.0
olxd9qi9vs5dzes9iicl170ob     node02              Down                Active                                  18.09.0
i1uee68sxt2puzd5dx3qnm9ck     node03              Down                Active                                  18.09.0
///可以看到node02、node03的状态为Down
[root@node01 ~]# docker node rm node02
[root@node01 ~]# docker node rm node03
//node01将node02、node03移除群集
//如果worker节点没有辞职,manager节点可以使用“-f”表示强制开出worker节点

以上命令可以将某一个节点加入、删除群集。

[root@node01 ~]# docker swarm leave -f
//manager节点退出swamr群集环境,这就表示swarm群集解散

不过加入时是使用worker身份的,如果想要让节点是以manager身份加入群集,需要使用以下命令:

[root@node01 ~]# docker swarm join-token manager 
//查询以manager身份加入群集的命令
[root@node01 ~]# docker swarm join-token worker
//查询以worker身份加入群集的命令

如图:
Docker swarm集群的安装配置

###################node02的操作如下###################
[root@node02 ~]# docker swarm join --token SWMTKN-1-2c0gcpxihwklx466296l5jp6od31pshm04q990n3ssncby3h0c-78rnxee2e990axj0q7td74zod 192.168.1.1:2377
###################node03的操作如下###################
[root@node03 ~]# docker swarm join --token SWMTKN-1-2c0gcpxihwklx466296l5jp6od31pshm04q990n3ssncby3h0c-78rnxee2e990axj0q7td74zod 192.168.1.1:2377
//node02、node03加入群集是以manager身份加入
###################node01的操作如下###################
[root@node01 ~]# docker node ls         //查看节点的详细信息
ID                            HOSTNAME            STATUS              AVAILABILITY        MANAGER STATUS      ENGINE VERSION
exr8uoww0eih53iujqz5cbv6q *   node01              Ready               Active              Leader              18.09.0
r35f48huyw5hvnkuzatrftj1r     node02              Ready               Active              Reachable           18.09.0
gsg1irl1bywgdsmfawi9rna7p     node03              Ready               Active              Reachable           18.09.0
//从MANAGER STATUS这列就可看出

虽然加入群集时,可以指定使用manager、worker身份,但是也可以通过以下命令,进行降级、升级,操作如下:

[root@node01 ~]# docker node demote node02
[root@node01 ~]# docker node demote node03
//将node02、node03降级为worker
[root@node01 ~]# docker node promote node02
[root@node01 ~]# docker node promote node03
//将node02、node03升级为manager
//自行验证

五、部署图形化UI

部署图形化UI界面由node01来完成!

[root@node01 ~]# docker run -d -p 8080:8080 -e HOST=172.16.0.10 -e PORT=8080 -v /var/run/docker.sock:/var/run/docker.sock --name visualizer dockersamples/visualizer
//-e HOST指定的是容器

使用浏览器访问:
Docker swarm集群的安装配置
浏览器可以正常访问,则表示图形化UI界面部署完成!

六、docker swarm群集的service服务配置

node01发布一个任务,(必须在manager角色的主机上)运行六个容器,命令如下:

[root@node01 ~]# docker service create --replicas 6  --name web -p 80:80 nginx
// --replicas:副本数量;大概可以理解为一个副本就是一个容器

容器运行完成后,可以登录web页面进行查看,如图:
Docker swarm集群的安装配置

注意:如果另外两台节点服务器上没有相应的惊醒,则默认会从docker Hub上自动进行下载!

[root@node01 ~]# docker service ls            //查看创建的service
ID                  NAME                MODE                REPLICAS            IMAGE               PORTS
nbfzxltrcbsk        web                 replicated          6/6                 nginx:latest        *:80->80/tcp
[root@node01 ~]# docker service ps web     //查看创建的service都运行在那些容器上
ID                  NAME                IMAGE               NODE                DESIRED STATE       CURRENT STATE           ERROR               PORTS
v7pmu1waa2ua        web.1               nginx:latest        node01              Running             Running 6 minutes ago                       
l112ggmp7lxn        web.2               nginx:latest        node02              Running             Running 5 minutes ago                       
prw6hyizltmx        web.3               nginx:latest        node03              Running             Running 5 minutes ago                       
vg38mso99cm1        web.4               nginx:latest        node01              Running             Running 6 minutes ago                       
v1mb0mvtz55m        web.5               nginx:latest        node02              Running             Running 5 minutes ago                       
80zq8f8252bj        web.6               nginx:latest        node03              Running             Running 5 minutes ago                       

如果现在node02、node03发生宕机时,service并不会因为节点的当即而死掉,而是自动跑到正常的节点上。

模拟node02宕机,web页面如下:
Docker swarm集群的安装配置

恢复node02,web页面如下:
Docker swarm集群的安装配置

即使node02恢复正常,也不会将service分配给node02。

因此,可以得出一个结论:如果node发生故障,service会自动跑到可用的节点上;反之,如果node没有发生故障,默认情况下,service不会轻易更改节点!

七、实现service的扩容、收缩

扩容:就是添加几台service;
收缩:就是减少几台service;

针对上述环境实现收缩、扩容;

(1)service扩容

[root@node01 ~]# docker service scale web=8
//原本有6个service,现在增加到8台

web页面如下:
Docker swarm集群的安装配置
关于service分配到那台node节点上,是根据docker swarm自身的算法进行分配的。

(2)service收缩

[root@node01 ~]# docker service scale web=4
//原本有8个service,现在减少到4台

web页面如下:
Docker swarm集群的安装配置

(3)设置某个node不运行service

上述环境中,三台都是manager,即使是一台manager、两台worker默认情况manager也是进行工作的,将node02、node03降级为worker,执行如下命令:

[root@node01 ~]# docker node demote node02
[root@node01 ~]# docker node demote node03

如图:
Docker swarm集群的安装配置

可以通过设置,使某台节点不运行service,如下:

[root@node01 ~]# docker node update --availability drain node01
//设置noder01以后不运行容器,但已经运行的容器并不会停止
// --availability:选项后面共有三个选项可配置,如下:
active:工作;pause:暂时不工作;drain:永久性的不工作

web页面如下:
Docker swarm集群的安装配置

[root@node01 ~]# docker node update --availability drain node02
//node02也不参加工作,但已经运行的容器并不会停止

如图:
Docker swarm集群的安装配置

由此可以得出:不是只有manager才有不工作的权力!

八、docker swarm网络

docker swarm集群会产生两种不同类型的流量:

  • 控制和管理层面:包括swarm消息管理等,例如请求加入或离开swarm,这种类型的流量总是被加密的(涉及到集群内部的hostname、ip-address、subnet、gateway等);
  • 应用数据层面:包括容器与客户端的通信等(涉及到 防火墙、端口映射、VIP等);

在swarm中有三个重要的概念:

  • overlay networks:管理swarm中Docker守护进程间的通信。你可以将服务附加到一个或多个已存在的overlay网络上,使得服务与服务之间能够通信;
  • ingress network:是一个特殊的overlay网络,用于服务节点间的负载均衡。当然任何swarm节点在发布的端口上接收到请求后,将请求交给一个名为IPVS的模块。IPVS跟踪参与该服务的所有IP地址,选择其中的一个,并通过ingress网络将请求到它;
  • docker_gwbridge:是一种桥接网络,将overlay网络(包括ingress网络)连接到一个单独的Docker守护进程的物理网络。默认情况下,服务正在运行的每个容器都连接到本地Docker守护进程主机的docker_gwbridge网络;

docker_gwbridge网络在初始化Swarm或加入Swarm时自动创建。大多数情况下,用户不需要自定义配置,但是Docker允许自定义;

查看node01上默认的网络,如图:
Docker swarm集群的安装配置

注意:图中的SCOPE,注意其作用范围!

除了Swarm群集默认创建的两个网络以外,我们还可以自定义创建overlay网络,连接到此网络的容器,即可互相通信,,但是需要注意,自定义的网络只能是创建的manager主机才可查看到!

创建自定义overlay网络

[root@node01 ~]# docker network create -d overlay --subnet 200.0.0.0/24 --gateway 200.0.0.1 --attachable my_net
//Docker swarm群集创建overlay网络时,必须使用--attachable选项来指定名称,否则其他节点的容器运行时无法使用此网络

创建自定义的overlay网络时,必须是manager才可以创建,并且只在manager节点上才显示的,别的worker节点是查看不到的,但是可以使用。
如下:
Docker swarm集群的安装配置

[root@node02 ~]# docker run -itd --name test01 --ip 200.0.0.10 --network my_net busybox
//node02使用刚才自定义的overlay网络创建容器
[root@node03 ~]# docker run -itd --name test02 --network my_net --ip 200.0.0.20 busybox
//node03使用自定义的overlay网络创建容器

测试访问:
Docker swarm集群的安装配置
这是node02、node03已经使用过这个自定义的网络了,这是在node02、node03上就可以查看到了!
Docker swarm集群的安装配置
而且基于docker swarm创建的overlay网络也符合自定义跨主机网络的特点,可以使用主机名进行通信。

九、搭建registry私有仓库

通过搭建registry私有仓库,可以便于让其他node下载镜像。搭建私有仓库可以参考Docker搭建私有仓库

[root@node01 ~]# docker run -itd --name registry -p 5000:5000 -v /registry:/var/lib/registry --restart=always registry:2
[root@node01 ~]# vim /usr/lib/systemd/system/docker.service 
//更改内容为
ExecStart=/usr/bin/dockerd --insecure-registry 192.168.1.1:5000
[root@node01 ~]# systemctl daemon-reload 
[root@node01 ~]# systemctl restart docker
[root@node01 ~]# docker ps -a -q | xargs docker start
//由于刚才创建的容器并没有设置自动启动,所以在重启docker服务的时候,需要手动启动
[root@node01 ~]# ssh-keygen -t rsa
[root@node01 ~]# ssh-copy-id root@node02
[root@node01 ~]# ssh-copy-id root@node03
//设置免密登录
[root@node01 ~]# scp /usr/lib/systemd/system/docker.service root@node02:/usr/lib/systemd/system/docker.service
[root@node01 ~]# scp /usr/lib/systemd/system/docker.service root@node03:/usr/lib/systemd/system/docker.service
//将docker的配置文件复制到node02、node03上,因为docker的配置文件都是一样的内容
[root@node02 ~]# systemctl daemon-reload 
[root@node02 ~]# systemctl restart docker
[root@node03 ~]# systemctl daemon-reload 
[root@node03 ~]# systemctl restart docker
//重新启动node02、node03节点的docker服务
[root@node01 ~]# docker pull httpd
[root@node01 ~]# docker tag httpd:latest 192.168.1.1:5000/httpd:latest
[root@node01 ~]# docker push 192.168.1.1:5000/httpd:latest 
//将httpd镜像上传到私有仓库中

十、service服务版本的升级与回滚

(1)准备环境

[root@node01 ~]# mkdir version{1,2,3,}
[root@node01 ~]# cd version1
[root@node01 version1]# echo "version1" >> index.html
[root@node01 version1]# echo -e "FROM httpd:latest\nADD index.html /usr/local/apache2/htdocs/index.html" > Dockerfile
[root@node01 version1]# docker build -t 192.168.1.1:5000/httpd:v1 .
//version1目录下模拟生成版本v1
[root@node01 version1]# cp Dockerfile ../version2
[root@node01 version1]# cd !$
cd ../version2
[root@node01 version2]# echo "version2" >> index.html
[root@node01 version2]# docker build -t 192.168.1.1:5000/httpd:v2 .
//vesion2目录下模拟生成版本v2
[root@node01 version2]# cp Dockerfile ../version3
[root@node01 version2]# cd !$
cd ../version3
[root@node01 version3]# echo "version3" >> index.html
[root@node01 version3]# docker build -t 192.168.1.1:5000/httpd:v3 .
//vesion3目录下模拟生成版本v3
//注意在主页面做一些区分
[root@node01 ~]# docker push 192.168.1.1:5000/httpd:v1
[root@node01 ~]# docker push 192.168.1.1:5000/httpd:v2
[root@node01 ~]# docker push 192.168.1.1:5000/httpd:v3
//将生成的镜像上传到私有仓库
[root@node01 ~]# docker service create --replicas 3 --name httpd 192.168.1.1:5000/httpd:v1
//基于192.168.1.1:5000/httpd:v1创建三个service副本

浏览器访问测试:
Docker swarm集群的安装配置

三个service副本是轮询的方式来服务的,根据node02、node03的首页内容进行测试!
node02:

[root@node02 ~]# docker ps
CONTAINER ID        IMAGE                       COMMAND              CREATED             STATUS              PORTS               NAMES
b6c1d88fcadf        192.168.1.1:5000/httpd:v1   "httpd-foreground"   4 minutes ago       Up 4 minutes        80/tcp              httpd.1.qubzhexjprpt7s89ku91mlle0
[root@node02 ~]# docker exec -it b6c1d88fcadf /bin/bash
root@b6c1d88fcadf:/usr/local/apache2# echo "node02" >> htdocs/index.html 

node03

[root@node03 ~]# docker ps
CONTAINER ID        IMAGE                       COMMAND              CREATED             STATUS              PORTS               NAMES
ee19c342188c        192.168.1.1:5000/httpd:v1   "httpd-foreground"   5 minutes ago       Up 5 minutes        80/tcp              httpd.3.9ru7zsokixz29iw99qbdp15gn
[root@node03 ~]# docker exec -it ee19c342188c /bin/bash
root@ee19c342188c:/usr/local/apache2# echo "node03" >> htdocs/index.html 

访问测试:

[root@node01 ~]# curl 127.0.0.1
version1
node03
[root@node01 ~]# curl 127.0.0.1
version1
[root@node01 ~]# curl 127.0.0.1
version1
node02
//效果已经实现 

(2)版本升级

[root@node01 ~]# docker service update --image 192.168.1.1:5000/httpd:v2 httpd
//更新容器的镜像为版本2

浏览器进行测试:
Docker swarm集群的安装配置

默认情况下,swarm一次只更新一个副本,并且两个副本之间并没有等待时间,可以通过以上方法进行设置。

[root@node01 ~]# docker service update --replicas 6 --image 192.168.1.1:5000/httpd:v3 --update-parallelism 2 --update-delay 1m httpd
//--update-parallelism:设置更新的副本数量;
//--update-delay:更新的间隔时间
// --replicas 6:并在升级的过程中另外再创建3个副本

从更新的过程中可以看出效果!

浏览器确认版本更新成功:
Docker swarm集群的安装配置

(3)版本回滚

[root@node01 ~]# docker service rollback httpd
//回滚为上一个版本

浏览器访问测试:
Docker swarm集群的安装配置

注意:当我们执行回滚操作的时候,默认是回滚到上一次操作的版本,并且不可以连续回滚。

十一、docker Swarm群集常用命令

[root@node02 ~]# docker swarm leave 
//那个节点想退出swarm群集,就在那台节点上执行这条命令
//节点自动退出swarm群集(相当于辞职)
[root@node01 ~]# docker node rm 节点名称
//由manager主动删除节点(相当于开除)
[root@node01 ~]# docker node promote 节点名称
//将节点升级
[root@node01 ~]# docker node demote 节点名称
//将节点降级
[root@node01 ~]# docker node ls          
//查看swarm群集的信息(只可以在manager角色的主机上查看)
 [root@node01 ~]# docker node update --availability drain 节点名称
 //调整节点不参加工作
 [root@node01 ~]# docker swarm join-token worker
//查看加入swarm群集的令牌(可以是worker也可以是manager)
[root@node01 ~]# docker service scale web=4
//扩容、收缩swarn群集servie的数量(取决与群集原本的数量)
//比原本群集数量多,就是扩容,反之、收缩
[root@node01 ~]# docker service ls
//查看创建的service
[root@node01 ~]# docker service ps service的名称
//查看创建的service运行在那些容器上
[root@node01 ~]# docker service create --replicas 6  --name web -p 80:80 nginx
//指定运行的service副本数量
[root@node01 ~]# docker service create --replicas 3 --constraint node.hostname==node03 --name test nginx
//指定node节点,创建名为test的容器
[root@node01 ~]# docker node update --label-add mem=max node02
//以键值对的方式给docker02主机打上标签“mem=max”,等号两边的内容是可以自定义的
[root@node01 ~]# docker service create --name test1 --replicas 3 --constraint 'node.labels.mem==max' nginx
//基于nginx镜像在标签为“mem==max”的主机上运行3个名为test1的服务
[root@node01 ~]# docker node inspect node02
//标签相关的信息,在Spec{  }中有显示

十二、docker swarm总结

  • 参与群集的主机名一定不能冲突,并且可以互相解析对方的主机名;
  • 集群内的所有节点可以都是manager角色,但是不可以都是worker角色;
  • 当指定运行的镜像时,如果群集中的节点本地没有该镜像,那么它将会自动下载对应的镜像;
  • 当群集正常工作时,若一个运行着容器的docker服务器发生宕机,那么,其所运行的所有容器,都将转移到其他正常运行的节点之上,而且,就算发生宕机的服务器恢复正常运行,也不会再接管之前运行的容器;

当前名称:Dockerswarm集群的安装配置
转载源于:http://myzitong.com/article/gsceid.html