glusterfs

我们复用 kubernetes 的三台主机做 GlusterFS 存储。
安装 GlusterFS
我们直接在物理机上使用 yum 安装，如果你选择在 kubernetes 上安装，请参考 https://github.com/gluster/gluster-kubernetes/blob/master/docs/setup-guide.md。
1
# 先安装 gluster 源
2
$ yum install centos-release-gluster -y
3
​
4
# 安装 glusterfs 组件
5
$ yum install -y glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma glusterfs-geo-replication glusterfs-devel
6
​
7
## 创建 glusterfs 目录
8
$ mkdir /opt/glusterd
9
​
10
## 修改 glusterd 目录
11
$ sed -i 's/var\/lib/opt/g' /etc/glusterfs/glusterd.vol
12
​
13
# 启动 glusterfs
14
$ systemctl start glusterd.service
15
​
16
# 设置开机启动
17
$ systemctl enable glusterd.service
18
​
19
#查看状态
20
$ systemctl status glusterd.service
Copied!
配置 GlusterFS
1
# 配置 hosts
2
​
3
$ vi /etc/hosts
4
172.20.0.113   sz-pg-oam-docker-test-001.tendcloud.com
5
172.20.0.114   sz-pg-oam-docker-test-002.tendcloud.com
6
172.20.0.115   sz-pg-oam-docker-test-003.tendcloud.com
Copied!
1
# 开放端口
2
$ iptables -I INPUT -p tcp --dport 24007 -j ACCEPT
3
​
4
# 创建存储目录
5
$ mkdir /opt/gfs_data
Copied!
1
# 添加节点到 集群
2
# 执行操作的本机不需要 probe 本机
3
[[email protected] ~]#
4
gluster peer probe sz-pg-oam-docker-test-002.tendcloud.com
5
gluster peer probe sz-pg-oam-docker-test-003.tendcloud.com
6
​
7
# 查看集群状态
8
$ gluster peer status
9
Number of Peers: 2
10
​
11
Hostname: sz-pg-oam-docker-test-002.tendcloud.com
12
Uuid: f25546cc-2011-457d-ba24-342554b51317
13
State: Peer in Cluster (Connected)
14
​
15
Hostname: sz-pg-oam-docker-test-003.tendcloud.com
16
Uuid: 42b6cad1-aa01-46d0-bbba-f7ec6821d66d
17
State: Peer in Cluster (Connected)
Copied!
配置 volume
GlusterFS 中的 volume 的模式有很多种，包括以下几种：
分布卷(默认模式)：即 DHT, 也叫 分布卷: 将文件以 hash 算法随机分布到 一台服务器节点中存储。
复制模式：即 AFR, 创建 volume 时带 replica x 数量: 将文件复制到 replica x 个节点中。
条带模式：即 Striped, 创建 volume 时带 stripe x 数量： 将文件切割成数据块，分别存储到 stripe x 个节点中 (类似 raid 0)。
分布式条带模式：最少需要 4 台服务器才能创建。 创建 volume 时 stripe 2 server = 4 个节点： 是 DHT 与 Striped 的组合型。
分布式复制模式：最少需要 4 台服务器才能创建。 创建 volume 时 replica 2 server = 4 个节点：是 DHT 与 AFR 的组合型。
条带复制卷模式：最少需要 4 台服务器才能创建。 创建 volume 时 stripe 2 replica 2 server = 4 个节点： 是 Striped 与 AFR 的组合型。
三种模式混合： 至少需要 8 台 服务器才能创建。 stripe 2 replica 2 , 每 4 个节点 组成一个 组。
这几种模式的示例图参考 GlusterFS Documentation。
因为我们只有三台主机，在此我们使用默认的分布卷模式。请勿在生产环境上使用该模式，容易导致数据丢失。
1
# 创建分布卷
2
$ gluster volume create k8s-volume transport tcp sz-pg-oam-docker-test-001.tendcloud.com:/opt/gfs_data sz-pg-oam-docker-test-002.tendcloud.com:/opt/gfs_data sz-pg-oam-docker-test-003.tendcloud.com:/opt/gfs_data force
3
​
4
# 查看 volume 状态
5
$ gluster volume info
6
Volume Name: k8s-volume
7
Type: Distribute
8
Volume ID: 9a3b0710-4565-4eb7-abae-1d5c8ed625ac
9
Status: Created
10
Snapshot Count: 0
11
Number of Bricks: 3
12
Transport-type: tcp
13
Bricks:
14
Brick1: sz-pg-oam-docker-test-001.tendcloud.com:/opt/gfs_data
15
Brick2: sz-pg-oam-docker-test-002.tendcloud.com:/opt/gfs_data
16
Brick3: sz-pg-oam-docker-test-003.tendcloud.com:/opt/gfs_data
17
Options Reconfigured:
18
transport.address-family: inet
19
nfs.disable: on
20
​
21
# 启动 分布卷
22
$ gluster volume start k8s-volume
Copied!
Glusterfs 调优
1
# 开启 指定 volume 的配额
2
$ gluster volume quota k8s-volume enable
3
​
4
# 限制 指定 volume 的配额
5
$ gluster volume quota k8s-volume limit-usage / 1TB
6
​
7
# 设置 cache 大小, 默认 32MB
8
$ gluster volume set k8s-volume performance.cache-size 4GB
9
​
10
# 设置 io 线程, 太大会导致进程崩溃
11
$ gluster volume set k8s-volume performance.io-thread-count 16
12
​
13
# 设置 网络检测时间, 默认 42s
14
$ gluster volume set k8s-volume network.ping-timeout 10
15
​
16
# 设置 写缓冲区的大小, 默认 1M
17
$ gluster volume set k8s-volume performance.write-behind-window-size 1024MB
Copied!
Kubernetes 中使用 GlusterFS
官方的文档见https://github.com/kubernetes/examples/tree/master/staging/volumes/glusterfs.
以下用到的所有 yaml 和 json 配置文件可以在 glusterfs 中找到。注意替换其中私有镜像地址为你自己的镜像地址。
kubernetes 安装客户端
1
# 在所有 k8s node 中安装 glusterfs 客户端
2
$ yum install -y glusterfs glusterfs-fuse
3
​
4
# 配置 hosts
5
$ vi /etc/hosts
6
172.20.0.113   sz-pg-oam-docker-test-001.tendcloud.com
7
172.20.0.114   sz-pg-oam-docker-test-002.tendcloud.com
8
172.20.0.115   sz-pg-oam-docker-test-003.tendcloud.com
Copied!
因为我们 glusterfs 跟 kubernetes 集群复用主机，因为此这一步可以省去。
配置 endpoints
1
$ curl -O https://raw.githubusercontent.com/kubernetes/kubernetes/master/examples/volumes/glusterfs/glusterfs-endpoints.json
2
​
3
# 修改 endpoints.json ，配置 glusters 集群节点 ip
4
# 每一个 addresses 为一个 ip 组
5
​
6
    {
7
      "addresses": [
8
        {
9
          "ip": "172.22.0.113"
10
        }
11
      ],
12
      "ports": [
13
        {
14
          "port": 1990
15
        }
16
      ]
17
    },
18
​
19
# 导入 glusterfs-endpoints.json
20
​
21
$ kubectl apply -f glusterfs-endpoints.json
22
​
23
# 查看 endpoints 信息
24
$ kubectl get ep
Copied!
配置 service
1
$ curl -O https://raw.githubusercontent.com/kubernetes/kubernetes/master/examples/volumes/glusterfs/glusterfs-service.json
2
​
3
# service.json 里面查找的是 enpointes 的名称与端口，端口默认配置为 1，我改成了 1990
4
​
5
# 导入 glusterfs-service.json
6
$ kubectl apply -f glusterfs-service.json
7
​
8
# 查看 service 信息
9
$ kubectl get svc
Copied!
创建测试 pod
1
$ curl -O https://github.com/kubernetes/examples/raw/master/staging/volumes/glusterfs/glusterfs-pod.json
2
​
3
# 编辑 glusterfs-pod.json
4
# 修改 volumes  下的 path 为上面创建的 volume 名称
5
​
6
"path": "k8s-volume"
7
​
8
# 导入 glusterfs-pod.json
9
$ kubectl apply -f glusterfs-pod.json
10
​
11
# 查看 pods 状态
12
$ kubectl get pods
13
NAME                             READY     STATUS    RESTARTS   AGE
14
glusterfs                        1/1       Running   0          1m
15
​
16
# 查看 pods 所在 node
17
$ kubectl describe pods/glusterfs
18
​
19
# 登陆 node 物理机，使用 df 可查看挂载目录
20
$ df -h
21
172.20.0.113:k8s-volume  1.0T     0  1.0T   0% /var/lib/kubelet/pods/3de9fc69-30b7-11e7-bfbd-8af1e3a7c5bd/volumes/kubernetes.io~glusterfs/glusterfsvol
Copied!
配置 PersistentVolume
PersistentVolume（PV）和 PersistentVolumeClaim（PVC）是 kubernetes 提供的两种 API 资源，用于抽象存储细节。管理员关注于如何通过 pv 提供存储功能而无需关注用户如何使用，同样的用户只需要挂载 PVC 到容器中而不需要关注存储卷采用何种技术实现。PVC 和 PV 的关系跟 pod 和 node 关系类似，前者消耗后者的资源。PVC 可以向 PV 申请指定大小的存储资源并设置访问模式。
PV 属性 
storage 容量
读写属性：分别为
ReadWriteOnce：单个节点读写；
ReadOnlyMany：多节点只读 ；
ReadWriteMany：多节点读写
1
$ cat glusterfs-pv.yaml
2
apiVersion: v1
3
kind: PersistentVolume
4
metadata:
5
  name: gluster-dev-volume
6
spec:
7
  capacity:
8
    storage: 8Gi
9
  accessModes:
10
    - ReadWriteMany
11
  glusterfs:
12
    endpoints: "glusterfs-cluster"
13
    path: "k8s-volume"
14
    readOnly: false
15
​
16
# 导入 PV
17
$ kubectl apply -f glusterfs-pv.yaml
18
​
19
# 查看 pv
20
$ kubectl get pv
21
NAME                 CAPACITY   ACCESSMODES   RECLAIMPOLICY   STATUS      CLAIM     STORAGECLASS   REASON    AGE
22
gluster-dev-volume   8Gi        RWX           Retain          Available                                      3s
Copied!
PVC 属性
访问属性与 PV 相同
容量：向 PV 申请的容量 <= PV 总容量
配置 PVC
1
$ cat glusterfs-pvc.yaml
2
kind: PersistentVolumeClaim
3
apiVersion: v1
4
metadata:
5
  name: glusterfs-nginx
6
spec:
7
  accessModes:
8
    - ReadWriteMany
9
  resources:
10
    requests:
11
      storage: 8Gi
12
​
13
# 导入 pvc
14
$ kubectl apply -f glusterfs-pvc.yaml
15
​
16
# 查看 pvc
17
​
18
$ kubectl get pv
19
NAME              STATUS    VOLUME               CAPACITY   ACCESSMODES   STORAGECLASS   AGE
20
glusterfs-nginx   Bound     gluster-dev-volume   8Gi        RWX                          4s
Copied!
创建 nginx deployment 挂载 volume
1
$ vi nginx-deployment.yaml
2
apiVersion: extensions/v1beta1
3
kind: Deployment
4
metadata:
5
  name: nginx-dm
6
spec:
7
  replicas: 2
8
  template:
9
    metadata:
10
      labels:
11
        name: nginx
12
    spec:
13
      containers:
14
        - name: nginx
15
          image: nginx:alpine
16
          imagePullPolicy: IfNotPresent
17
          ports:
18
            - containerPort: 80
19
          volumeMounts:
20
            - name: gluster-dev-volume
21
              mountPath: "/usr/share/nginx/html"
22
      volumes:
23
      - name: gluster-dev-volume
24
        persistentVolumeClaim:
25
          claimName: glusterfs-nginx
26
​
27
# 导入 deployment
28
$ kubectl apply -f nginx-deployment.yaml
29
​
30
# 查看 deployment
31
$ kubectl get pods |grep nginx-dm
32
nginx-dm-3698525684-g0mvt       1/1       Running   0          6s
33
nginx-dm-3698525684-hbzq1       1/1       Running   0          6s
34
​
35
# 查看 挂载
36
$ kubectl exec -it nginx-dm-3698525684-g0mvt -- df -h|grep k8s-volume
37
172.20.0.113:k8s-volume         1.0T     0  1.0T   0% /usr/share/nginx/html
38
​
39
# 创建文件 测试
40
$ kubectl exec -it nginx-dm-3698525684-g0mvt -- touch /usr/share/nginx/html/index.html
41
​
42
$ kubectl exec -it nginx-dm-3698525684-g0mvt -- ls -lt /usr/share/nginx/html/index.html
43
-rw-r--r-- 1 root root 0 May  4 11:36 /usr/share/nginx/html/index.html
44
​
45
# 验证 glusterfs
46
# 因为我们使用分布卷，所以可以看到某个节点中有文件
47
[[email protected] ~] ls /opt/gfs_data/
48
[[email protected] ~] ls /opt/gfs_data/
49
index.html
50
[[email protected] ~] ls /opt/gfs_data/
Copied!
参考
​CentOS 7 安装 GlusterFS​
​https://github.com/gluster/gluster-kubernetes​