基于K8S的StatefulSet部署MySQL集群

环境：

# 采用NFS存储卷的方式 持久化存储mysql数据目录

需求：

展示如何使用 StatefulSet 控制器运行一个有状态的应用程序。此例是多副本的 MySQL 数据库。 示例应用的拓扑结构有一个主服务器和多个副本，使用异步的基于行(Row-Based) 的数据复制。

• 搭建一个“主从复制”(Maser-Slave Replication)的 MySQL 集群
• 存在一个主节点【master】，有多个从节点【slave】
• 从节点可以水平拓展
• 所有的写操作，只能在主节点上执行
• 读操作可以在所有节点上执行

一、部署NFS服务器

1. #服务器安装nfs服务，提供nfs存储功能
2. 1、安装nfs-utils
3. yuminstallnfs-utils(centos)
4. 或者apt-getinstallnfs-kernel-server(ubuntu)
5.  
6. 2、启动服务
7. systemctlenablenfs-server
8. systemctlstartnfs-server
9.  
10. 3、创建共享目录完成共享配置
11. mkdir/home/nfs#创建共享目录
12.  
13. 4、编辑共享配置
14. vim/etc/exports
15. #语法格式：共享文件路径客户机地址（权限）#这里的客户机地址可以是IP,网段，域名,也可以是任意*
16. /home/nfs*(rw,async,no_root_squash)

1. #服务器安装nfs服务，提供nfs存储功能
2. 1、安装nfs-utils
3. yuminstallnfs-utils(centos)
4. 或者apt-getinstallnfs-kernel-server(ubuntu)
5.  
6. 2、启动服务
7. systemctlenablenfs-server
8. systemctlstartnfs-server
9.  
10. 3、创建共享目录完成共享配置
11. mkdir/home/nfs#创建共享目录
12.  
13. 4、编辑共享配置
14. vim/etc/exports
15. #语法格式：共享文件路径客户机地址（权限）#这里的客户机地址可以是IP,网段，域名,也可以是任意*
16. /home/nfs*(rw,async,no_root_squash)

1. 服务自检命令
2. exportfs-arv
3.  
4.  
5. 5、重启服务
6. systemctlrestartnfs-server
7.  
8.  
9. 6、本机查看nfs共享目录
10. #showmount-e服务器IP地址(如果提示命令不存在，则需要yuminstallshowmount)
11.  
12. showmount-e127.0.0.1
13. /home/nfs*
14.  
15.  
16.  
17. 7、客户端模拟挂载[所有k8s的节点都需要安装客户端]
18. [root@master-1~]#yuminstallnfs-utils（centos）
19. 或者apt-getinstallnfs-common（ubuntu）
20. [root@master-1~]#mkdir/test
21. [root@master-1~]#mount-tnfs172.16.201.209:/home/nfs/test
22.  
23. #取消挂载
24. [root@master-1~]#umount/test

二、配置PV 动态供给(NFS StorageClass)，创建pvc

部署NFS实现自动创建PV插件： 一共设计到4个yaml 文件 ，官方的文档有详细的说明

https://github.com/kubernetes-incubator/external-storage

1. root@k8s-master1:~#mkdir/root/pvc
2. root@k8s-master1:~#cd/root/pvc

创建rbac.yaml 文件

1. root@k8s-master1:pvc#catrbac.yaml
2. kind:ServiceAccount
3. apiVersion:v1
4. metadata:
5. name:nfs-client-provisioner
6. ---
7. kind:ClusterRole
8. apiVersion:rbac.authorization.k8s.io/v1
9. metadata:
10. name:nfs-client-provisioner-runner
11. rules:
12. -apiGroups:[""]
13. resources:["persistentvolumes"]
14. verbs:["get","list","watch","create","delete"]
15. -apiGroups:[""]
16. resources:["persistentvolumeclaims"]
17. verbs:["get","list","watch","update"]
18. -apiGroups:["storage.k8s.io"]
19. resources:["storageclasses"]
20. verbs:["get","list","watch"]
21. -apiGroups:[""]
22. resources:["events"]
23. verbs:["create","update","patch"]
24. ---
25. kind:ClusterRoleBinding
26. apiVersion:rbac.authorization.k8s.io/v1
27. metadata:
28. name:run-nfs-client-provisioner
29. subjects:
30. -kind:ServiceAccount
31. name:nfs-client-provisioner
32. namespace:default
33. roleRef:
34. kind:ClusterRole
35. name:nfs-client-provisioner-runner
36. apiGroup:rbac.authorization.k8s.io
37. ---
38. kind:Role
39. apiVersion:rbac.authorization.k8s.io/v1
40. metadata:
41. name:leader-locking-nfs-client-provisioner
42. rules:
43. -apiGroups:[""]
44. resources:["endpoints"]
45. verbs:["get","list","watch","create","update","patch"]
46. ---
47. kind:RoleBinding
48. apiVersion:rbac.authorization.k8s.io/v1
49. metadata:
50. name:leader-locking-nfs-client-provisioner
51. subjects:
52. -kind:ServiceAccount
53. name:nfs-client-provisioner
54. #replacewithnamespacewhereprovisionerisdeployed
55. namespace:default
56. roleRef:
57. kind:Role
58. name:leader-locking-nfs-client-provisioner
59. apiGroup:rbac.authorization.k8s.io

创建deployment.yaml 文件

官方默认的镜像地址，国内可能无法下载，可以使用 image:

fxkjnj/nfs-client-provisioner:latest

#定义NFS 服务器的地址，共享目录名称

1. root@k8s-master1:pvc#catdeployment.yaml
2. apiVersion:v1
3. kind:ServiceAccount
4. metadata:
5. name:nfs-client-provisioner
6. ---
7. kind:Deployment
8. apiVersion:apps/v1
9. metadata:
10. name:nfs-client-provisioner
11. spec:
12. replicas:1
13. strategy:
14. type:Recreate
15. selector:
16. matchLabels:
17. app:nfs-client-provisioner
18. template:
19. metadata:
20. labels:
21. app:nfs-client-provisioner
22. spec:
23. serviceAccountName:nfs-client-provisioner
24. containers:
25. -name:nfs-client-provisioner
26. image:fxkjnj/nfs-client-provisioner:latest
27. volumeMounts:
28. -name:nfs-client-root
29. mountPath:/persistentvolumes
30. env:
31. -name:PROVISIONER_NAME
32. value:fuseim.pri/ifs
33. -name:NFS_SERVER
34. value:172.16.201.209
35. -name:NFS_PATH
36. value:/home/nfs
37. volumes:
38. -name:nfs-client-root
39. nfs:
40. server:172.16.201.209
41. path:/home/nfs

创建class.yaml

1. root@k8s-master1:pvc#catclass.yaml
2. apiVersion:storage.k8s.io/v1
3. kind:StorageClass
4. metadata:
5. name:managed-nfs-storage
6. provisioner:fuseim.pri/ifs#orchooseanothername,mustmatchdeployment'senvPROVISIONER_NAME'
7. parameters:
8. archiveOnDelete:"true"

部署

1. root@k8s-master1:pvc#kubectlapply-f.
2.  
3.  
4. #查看存储卷
5. root@k8s-master1:pvc#kubectlgetsc
6. NAMEPROVISIONERRECLAIMPOLICYVOLUMEBINDINGMODEALLOWVOLUMEEXPANSIONAGE
7. managed-nfs-storagefuseim.pri/ifsDeleteImmediatefalse25h

三、编写mysql 相关yaml文件

MySQL 示例部署包含一个 ConfigMap、两个 Service 与一个 StatefulSet。

ConfigMap:

vim mysql-configmap.yaml

1. apiVersion:v1
2. kind:ConfigMap
3. metadata:
4. name:mysql
5. labels:
6. app:mysql
7. data:
8. master.cnf:|
9. #Applythisconfigonlyonthemaster.
10. [mysqld]
11. log-bin
12. slave.cnf:|
13. #Applythisconfigonlyonslaves.
14. [mysqld]
15. super-read-only

说明：

在这里，我们定义了 master.cnf 和 slave.cnf 两个 MySQL 的配置文件

• master.cnf 开启了log-bin，可以使用二进制日志文件的方式进行主从复制.
• slave.cnf 开启了 super-read-only ，表示从节点只接受主节点的数据同步的所有写的操作，拒绝其他的写入操作，对于用户来说就是只读的
• master.cnf 和 slave.cnf 已配置文件的形式挂载到容器的目录中

Service：

vim mysql-services.yaml

1. #HeadlessserviceforstableDNSentriesofStatefulSetmembers.
2. apiVersion:v1
3. kind:Service
4. metadata:
5. name:mysql
6. labels:
7. app:mysql
8. spec:
9. ports:
10. -name:mysql
11. port:3306
12. clusterIP:None
13. selector:
14. app:mysql
15. ---
16. #ClientserviceforconnectingtoanyMySQLinstanceforreads.
17. #Forwrites,youmustinsteadconnecttothemaster:mysql-0.mysql.
18. apiVersion:v1
19. kind:Service
20. metadata:
21. name:mysql-read
22. labels:
23. app:mysql
24. spec:
25. ports:
26. -name:mysql
27. port:3306
28. selector:
29. app:mysql

说明：

clusterIP: None，使用无头服务 Headless Service(相比普通Service只是将spec.clusterIP定义为None，也就是没有clusterIP，直接使用endport 来通信)来维护Pod网络身份，会为每个Pod分配一个数字编号并且按照编号顺序部署。还需要在StatefulSet添加serviceName: “mysql”字段指定StatefulSet控制器

另外statefulset控制器网络标识，体现在主机名和Pod A记录：

• 主机名：-<编号>

例如: mysql-0

• Pod DNS A记录：. ..svc.cluster.local （POD 之间通过DNS A 记录互相通信）

例如:

mysql-0.mysql.default.svc.cluster.local

StatefulSet:

vim mysql-statefulset.yaml

1. apiVersion:apps/v1
2. kind:StatefulSet
3. metadata:
4. name:mysql
5. spec:
6. selector:
7. matchLabels:
8. app:mysql
9. serviceName:mysql
10. replicas:3
11. template:
12. metadata:
13. labels:
14. app:mysql
15. spec:
16. initContainers:
17. -name:init-mysql
18. image:mysql:5.7
19. command:
20. -bash
21. -"-c"
22. -|
23. set-ex
24. #Generatemysqlserver-idfrompodordinalindex.
25. [[`hostname`=~-([0-9]+)$]]||exit1
26. ordinal=${BASH_REMATCH[1]}
27. echo[mysqld]>/mnt/conf.d/server-id.cnf
28. #Addanoffsettoavoidreservedserver-id=0value.
29. echoserver-id=$((100+$ordinal))>>/mnt/conf.d/server-id.cnf
30. #Copyappropriateconf.dfilesfromconfig-maptoemptyDir.
31. if[[$ordinal-eq0]];then
32. cp/mnt/config-map/master.cnf/mnt/conf.d/
33. else
34. cp/mnt/config-map/slave.cnf/mnt/conf.d/
35. fi
36. volumeMounts:
37. -name:conf
38. mountPath:/mnt/conf.d
39. -name:config-map
40. mountPath:/mnt/config-map
41. -name:clone-mysql
42. image:fxkjnj/xtrabackup:1.0
43. command:
44. -bash
45. -"-c"
46. -|
47. set-ex
48. #Skipthecloneifdataalreadyexists.
49. [[-d/var/lib/mysql/mysql]]&&exit0
50. #Skipthecloneonmaster(ordinalindex0).
51. [[`hostname`=~-([0-9]+)$]]||exit1
52. ordinal=${BASH_REMATCH[1]}
53. [[$ordinal-eq0]]&&exit0
54. #Clonedatafrompreviouspeer.
55. ncat--recv-onlymysql-$(($ordinal-1)).mysql3307|xbstream-x-C/var/lib/mysql
56. #Preparethebackup.
57. xtrabackup--prepare--target-dir=/var/lib/mysql
58. volumeMounts:
59. -name:data
60. mountPath:/var/lib/mysql
61. subPath:mysql
62. -name:conf
63. mountPath:/etc/mysql/conf.d
64. containers:
65. -name:mysql
66. image:mysql:5.7
67. env:
68. -name:MYSQL_ALLOW_EMPTY_PASSWORD
69. value:"1"
70. ports:
71. -name:mysql
72. containerPort:3306
73. volumeMounts:
74. -name:data
75. mountPath:/var/lib/mysql
76. subPath:mysql
77. -name:conf
78. mountPath:/etc/mysql/conf.d
79. resources:
80. requests:
81. cpu:500m
82. memory:1Gi
83. livenessProbe:
84. exec:
85. command:["mysqladmin","ping"]
86. initialDelaySeconds:30
87. periodSeconds:10
88. timeoutSeconds:5
89. readinessProbe:
90. exec:
91. #CheckwecanexecutequeriesoverTCP(skip-networkingisoff).
92. command:["mysql","-h","127.0.0.1","-e","SELECT1"]
93. initialDelaySeconds:5
94. periodSeconds:2
95. timeoutSeconds:1
96. -name:xtrabackup
97. image:fxkjnj/xtrabackup:1.0
98. ports:
99. -name:xtrabackup
100. containerPort:3307
101. command:
102. -bash
103. -"-c"
104. -|
105. set-ex
106. cd/var/lib/mysql
107.  
108. #Determinebinlogpositionofcloneddata,ifany.
109. if[[-fxtrabackup_slave_info&&"x$(!="x"]];then
110. #XtraBackupalreadygeneratedapartial"CHANGEMASTERTO"query
111. #becausewe'recloningfromanexistingslave.(Needtoremovethetailingsemicolon!)
112. catxtrabackup_slave_info|sed-E's/;$//g'>change_master_to.sql.in
113. #Ignorextrabackup_binlog_infointhiscase(it'suseless).
114. rm-fxtrabackup_slave_infoxtrabackup_binlog_info
115. elif[[-fxtrabackup_binlog_info]];then
116. #We'recloningdirectlyfrommaster.Parsebinlogposition.
117. [[`catxtrabackup_binlog_info`=~^(.*?)[[:space:]]+(.*?)$]]||exit1
118. rm-fxtrabackup_binlog_infoxtrabackup_slave_info
119. echo"CHANGEMASTERTOMASTER_LOG_FILE='${BASH_REMATCH[1]}',\
120. MASTER_LOG_POS=${BASH_REMATCH[2]}">change_master_to.sql.in
121. fi
122.  
123. #Checkifweneedtocompleteaclonebystartingreplication.
124. if[[-fchange_master_to.sql.in]];then
125. echo"Waitingformysqldtobeready(acceptingconnections)"
126. untilmysql-h127.0.0.1-e"SELECT1";dosleep1;done
127.  
128. echo"Initializingreplicationfromcloneposition"
129. mysql-h127.0.0.1\
130. -e"$(in),\
131. MASTER_HOST='mysql-0.mysql',\
132. MASTER_USER='root',\
133. MASTER_PASSWORD='',\
134. MASTER_CONNECT_RETRY=10;\
135. STARTSLAVE;"||exit1
136. #Incaseofcontainerrestart,attemptthisat-most-once.
137. mvchange_master_to.sql.inchange_master_to.sql.orig
138. fi
139.  
140. #Startaservertosendbackupswhenrequestedbypeers.
141. execncat--listen--keep-open--send-only--max-conns=13307-c\
142. "xtrabackup--backup--slave-info--stream=xbstream--host=127.0.0.1--user=root"
143. volumeMounts:
144. -name:data
145. mountPath:/var/lib/mysql
146. subPath:mysql
147. -name:conf
148. mountPath:/etc/mysql/conf.d
149. resources:
150. requests:
151. cpu:100m
152. memory:100Mi
153. volumes:
154. -name:conf
155. emptyDir:{}
156. -name:config-map
157. configMap:
158. name:mysql
159. volumeClaimTemplates:
160. -metadata:
161. name:data
162. spec:
163. storageClassName:"managed-nfs-storage"
164. accessModes:["ReadWriteOnce"]
165. resources:
166. requests:
167. storage:0.5Gi

说明：

• 使用xtrbackup 工具进行容器初始化数据的备份，https://www.toutiao.com/i6999565563710292484
• 使用linux 自带的ncat 工具进行容器初始化数据的拷贝[使用ncat指令，远程地从前一个节点拷贝数据到本地] https://www.cnblogs.com/chengd/p/7565280.html
• 使用mysql的binlog 主从复制 来保证主从之间的数据一致
• 利用pod的主机名的序号来判断当前节点为主节点还是从节点，再根据对于节点拷贝不同的配置文件到指定位置
• 使用mysqladmin的ping 作为数据库的健康检测方式
• 使用nfs存储的 PV 动态供给(StorageClass)，持久化mysql的数据文件

四、部署并测试

1. root@k8s-master1:~/kubernetes/mysql#ll
2. total24
3. drwxr-xr-x2rootroot4096Nov316:42./
4. drwxr-xr-x8rootroot4096Nov313:33../
5. -rw-r--r--1rootroot278Nov222:15mysql-configmap.yaml
6. -rw-r--r--1rootroot556Nov222:08mysql-services.yaml
7. -rw-r--r--1rootroot5917Nov314:22mysql-statefulset.yaml
8.  
9. root@k8s-master1:~/kubernetes/mysql#kubectlapply-f.
10. configmap/mysqlcreate
11. service/mysqlcreate
12. service/mysql-readcreate
13. statefulset.apps/mysqlcreate
14.  
15.  
16. #动态追踪查看Pod的状态：
17. root@k8s-master1:~/kubernetes/mysql#kubectlgetpods-lapp=mysql--watch
18. NAMEREADYSTATUSRESTARTSAGE
19. mysql-02/2Running03h12m
20. mysql-12/2Running03h11m
21. mysql-22/2Running03h10m

可以看到，StatefulSet 启动成功后，将会有三个 Pod 运行。

接下来，我们可以尝试向这个 MySQL 集群发起请求，执行一些 SQL 操作来验证它是否正常：

1. kubectlrunmysql-client--image=mysql:5.7-i--rm--restart=Never--\
2. mysql-hmysql-0.mysql<
3. CREATEDATABASEtest;
4. CREATETABLEtest.messages(messageVARCHAR(250));
5. INSERTINTOtest.messagesVALUES('hello');
6. EOF

如上所示，我们通过启动一个容器，使用 MySQL client 执行了创建数据库和表、以及插入数据的操作。需要注意的是，我们连接的 MySQL 的地址必须是 mysql-0.mysql(即：Master 节点的 DNS A 记录, 因为POD 之间通过DNS A 记录互相通信)只有 Master 节点才能处理写操作。

而通过连接 mysql-read 这个 Service，我们就可以用 SQL 进行读操作，如下所示：

1. kubectlrunmysql-client--image=mysql:5.7-i-t--rm--restart=Never--\
2. mysql-hmysql-read-e"SELECT*FROMtest.messages"
3.  
4.  
5. #你应该获得如下输出：
6. Waitingforpoddefault/mysql-clienttoberunning,statusisPending,podready:false
7. +---------+
8. |message|
9. +---------+
10. |hello|
11. +---------+
12. pod"mysql-client"deleted

或者：

1. root@k8s-master1:~/kubernetes/mysql#kubectlrun-it--rm--image=mysql:5.7--restart=Nevermysql-client--mysql-hmysql-read
2. Ifyoudon'tseeacommandprompt,trypressingenter.
3. WelcometotheMySQLmonitor.Commandsendwith;or\g.
4. YourMySQLconnectionidis7251
5. Serverversion:5.7.36MySQLCommunityServer(GPL)
6.  
7. Copyright(c)2000,2021,Oracleand/oritsaffiliates.
8.  
9. OracleisaregisteredtrademarkofOracleCorporationand/orits
10. affiliates.Othernamesmaybetrademarksoftheirrespective
11. owners.
12.  
13. Type'help;'or'\h'forhelp.Type'\c'toclearthecurrentinputstatement.
14.  
15. mysql>SELECT*FROMtest.messages;
16. +---------+
17. |message|
18. +---------+
19. |hello|
20. +---------+
21. 1rowinset(0.00sec)
22.  
23. mysql>

原文链接：https://www.toutiao.com/a7026278182844350984/