我们复用 kubernetes 的三台主机做 GlusterFS 存储。
我们直接在物理机上使用 yum 安装,如果你选择在 kubernetes 上安装,请参考 https://github.com/gluster/gluster-kubernetes/blob/master/docs/setup-guide.md。
# 先安装 gluster 源$ yum install centos-release-gluster -y# 安装 glusterfs 组件$ yum install -y glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma glusterfs-geo-replication glusterfs-devel## 创建 glusterfs 目录$ mkdir /opt/glusterd## 修改 glusterd 目录$ sed -i 's/var\/lib/opt/g' /etc/glusterfs/glusterd.vol# 启动 glusterfs$ systemctl start glusterd.service# 设置开机启动$ systemctl enable glusterd.service#查看状态$ systemctl status glusterd.service
# 配置 hosts$ vi /etc/hosts172.20.0.113 sz-pg-oam-docker-test-001.tendcloud.com172.20.0.114 sz-pg-oam-docker-test-002.tendcloud.com172.20.0.115 sz-pg-oam-docker-test-003.tendcloud.com
# 开放端口$ iptables -I INPUT -p tcp --dport 24007 -j ACCEPT# 创建存储目录$ mkdir /opt/gfs_data
# 添加节点到 集群# 执行操作的本机不需要 probe 本机[[email protected] ~]#gluster peer probe sz-pg-oam-docker-test-002.tendcloud.comgluster peer probe sz-pg-oam-docker-test-003.tendcloud.com# 查看集群状态$ gluster peer statusNumber of Peers: 2Hostname: sz-pg-oam-docker-test-002.tendcloud.comUuid: f25546cc-2011-457d-ba24-342554b51317State: Peer in Cluster (Connected)Hostname: sz-pg-oam-docker-test-003.tendcloud.comUuid: 42b6cad1-aa01-46d0-bbba-f7ec6821d66dState: Peer in Cluster (Connected)
GlusterFS 中的 volume 的模式有很多种,包括以下几种:
分布卷(默认模式):即 DHT, 也叫 分布卷: 将文件以 hash 算法随机分布到 一台服务器节点中存储。
复制模式:即 AFR, 创建 volume 时带 replica x 数量: 将文件复制到 replica x 个节点中。
条带模式:即 Striped, 创建 volume 时带 stripe x 数量: 将文件切割成数据块,分别存储到 stripe x 个节点中 (类似 raid 0)。
分布式条带模式:最少需要 4 台服务器才能创建。 创建 volume 时 stripe 2 server = 4 个节点: 是 DHT 与 Striped 的组合型。
分布式复制模式:最少需要 4 台服务器才能创建。 创建 volume 时 replica 2 server = 4 个节点:是 DHT 与 AFR 的组合型。
条带复制卷模式:最少需要 4 台服务器才能创建。 创建 volume 时 stripe 2 replica 2 server = 4 个节点: 是 Striped 与 AFR 的组合型。
三种模式混合: 至少需要 8 台 服务器才能创建。 stripe 2 replica 2 , 每 4 个节点 组成一个 组。
这几种模式的示例图参考 GlusterFS Documentation。
因为我们只有三台主机,在此我们使用默认的分布卷模式。请勿在生产环境上使用该模式,容易导致数据丢失。
# 创建分布卷$ gluster volume create k8s-volume transport tcp sz-pg-oam-docker-test-001.tendcloud.com:/opt/gfs_data sz-pg-oam-docker-test-002.tendcloud.com:/opt/gfs_data sz-pg-oam-docker-test-003.tendcloud.com:/opt/gfs_data force# 查看 volume 状态$ gluster volume infoVolume Name: k8s-volumeType: DistributeVolume ID: 9a3b0710-4565-4eb7-abae-1d5c8ed625acStatus: CreatedSnapshot Count: 0Number of Bricks: 3Transport-type: tcpBricks:Brick1: sz-pg-oam-docker-test-001.tendcloud.com:/opt/gfs_dataBrick2: sz-pg-oam-docker-test-002.tendcloud.com:/opt/gfs_dataBrick3: sz-pg-oam-docker-test-003.tendcloud.com:/opt/gfs_dataOptions Reconfigured:transport.address-family: inetnfs.disable: on# 启动 分布卷$ gluster volume start k8s-volume
# 开启 指定 volume 的配额$ gluster volume quota k8s-volume enable# 限制 指定 volume 的配额$ gluster volume quota k8s-volume limit-usage / 1TB# 设置 cache 大小, 默认 32MB$ gluster volume set k8s-volume performance.cache-size 4GB# 设置 io 线程, 太大会导致进程崩溃$ gluster volume set k8s-volume performance.io-thread-count 16# 设置 网络检测时间, 默认 42s$ gluster volume set k8s-volume network.ping-timeout 10# 设置 写缓冲区的大小, 默认 1M$ gluster volume set k8s-volume performance.write-behind-window-size 1024MB
官方的文档见https://github.com/kubernetes/examples/tree/master/staging/volumes/glusterfs.
以下用到的所有 yaml 和 json 配置文件可以在 glusterfs 中找到。注意替换其中私有镜像地址为你自己的镜像地址。
# 在所有 k8s node 中安装 glusterfs 客户端$ yum install -y glusterfs glusterfs-fuse# 配置 hosts$ vi /etc/hosts172.20.0.113 sz-pg-oam-docker-test-001.tendcloud.com172.20.0.114 sz-pg-oam-docker-test-002.tendcloud.com172.20.0.115 sz-pg-oam-docker-test-003.tendcloud.com
因为我们 glusterfs 跟 kubernetes 集群复用主机,因为此这一步可以省去。
$ curl -O https://raw.githubusercontent.com/kubernetes/kubernetes/master/examples/volumes/glusterfs/glusterfs-endpoints.json# 修改 endpoints.json ,配置 glusters 集群节点 ip# 每一个 addresses 为一个 ip 组{"addresses": [{"ip": "172.22.0.113"}],"ports": [{"port": 1990}]},# 导入 glusterfs-endpoints.json$ kubectl apply -f glusterfs-endpoints.json# 查看 endpoints 信息$ kubectl get ep
$ curl -O https://raw.githubusercontent.com/kubernetes/kubernetes/master/examples/volumes/glusterfs/glusterfs-service.json# service.json 里面查找的是 enpointes 的名称与端口,端口默认配置为 1,我改成了 1990# 导入 glusterfs-service.json$ kubectl apply -f glusterfs-service.json# 查看 service 信息$ kubectl get svc
$ curl -O https://github.com/kubernetes/examples/raw/master/staging/volumes/glusterfs/glusterfs-pod.json# 编辑 glusterfs-pod.json# 修改 volumes 下的 path 为上面创建的 volume 名称"path": "k8s-volume"# 导入 glusterfs-pod.json$ kubectl apply -f glusterfs-pod.json# 查看 pods 状态$ kubectl get podsNAME READY STATUS RESTARTS AGEglusterfs 1/1 Running 0 1m# 查看 pods 所在 node$ kubectl describe pods/glusterfs# 登陆 node 物理机,使用 df 可查看挂载目录$ df -h172.20.0.113:k8s-volume 1.0T 0 1.0T 0% /var/lib/kubelet/pods/3de9fc69-30b7-11e7-bfbd-8af1e3a7c5bd/volumes/kubernetes.io~glusterfs/glusterfsvol
PersistentVolume(PV)和 PersistentVolumeClaim(PVC)是 kubernetes 提供的两种 API 资源,用于抽象存储细节。管理员关注于如何通过 pv 提供存储功能而无需关注用户如何使用,同样的用户只需要挂载 PVC 到容器中而不需要关注存储卷采用何种技术实现。PVC 和 PV 的关系跟 pod 和 node 关系类似,前者消耗后者的资源。PVC 可以向 PV 申请指定大小的存储资源并设置访问模式。
PV 属性
storage 容量
读写属性:分别为
ReadWriteOnce:单个节点读写;
ReadOnlyMany:多节点只读 ;
ReadWriteMany:多节点读写
$ cat glusterfs-pv.yamlapiVersion: v1kind: PersistentVolumemetadata:name: gluster-dev-volumespec:capacity:storage: 8GiaccessModes:- ReadWriteManyglusterfs:endpoints: "glusterfs-cluster"path: "k8s-volume"readOnly: false# 导入 PV$ kubectl apply -f glusterfs-pv.yaml# 查看 pv$ kubectl get pvNAME CAPACITY ACCESSMODES RECLAIMPOLICY STATUS CLAIM STORAGECLASS REASON AGEgluster-dev-volume 8Gi RWX Retain Available 3s
PVC 属性
访问属性与 PV 相同
容量:向 PV 申请的容量 <= PV 总容量
$ cat glusterfs-pvc.yamlkind: PersistentVolumeClaimapiVersion: v1metadata:name: glusterfs-nginxspec:accessModes:- ReadWriteManyresources:requests:storage: 8Gi# 导入 pvc$ kubectl apply -f glusterfs-pvc.yaml# 查看 pvc$ kubectl get pvNAME STATUS VOLUME CAPACITY ACCESSMODES STORAGECLASS AGEglusterfs-nginx Bound gluster-dev-volume 8Gi RWX 4s
$ vi nginx-deployment.yamlapiVersion: extensions/v1beta1kind: Deploymentmetadata:name: nginx-dmspec:replicas: 2template:metadata:labels:name: nginxspec:containers:- name: nginximage: nginx:alpineimagePullPolicy: IfNotPresentports:- containerPort: 80volumeMounts:- name: gluster-dev-volumemountPath: "/usr/share/nginx/html"volumes:- name: gluster-dev-volumepersistentVolumeClaim:claimName: glusterfs-nginx# 导入 deployment$ kubectl apply -f nginx-deployment.yaml# 查看 deployment$ kubectl get pods |grep nginx-dmnginx-dm-3698525684-g0mvt 1/1 Running 0 6snginx-dm-3698525684-hbzq1 1/1 Running 0 6s# 查看 挂载$ kubectl exec -it nginx-dm-3698525684-g0mvt -- df -h|grep k8s-volume172.20.0.113:k8s-volume 1.0T 0 1.0T 0% /usr/share/nginx/html# 创建文件 测试$ kubectl exec -it nginx-dm-3698525684-g0mvt -- touch /usr/share/nginx/html/index.html$ kubectl exec -it nginx-dm-3698525684-g0mvt -- ls -lt /usr/share/nginx/html/index.html-rw-r--r-- 1 root root 0 May 4 11:36 /usr/share/nginx/html/index.html# 验证 glusterfs# 因为我们使用分布卷,所以可以看到某个节点中有文件[[email protected] ~] ls /opt/gfs_data/[[email protected] ~] ls /opt/gfs_data/index.html[[email protected] ~] ls /opt/gfs_data/