Secret
Secret 解决了密码、token、密钥等敏感数据的配置问题,而不需要把这些敏感数据暴露到镜像或者 Pod Spec 中。Secret 可以以 Volume 或者环境变量的方式使用。

Secret 类型

Secret 有三种类型:
    Opaque:base64 编码格式的 Secret,用来存储密码、密钥等;但数据也通过 base64 --decode 解码得到原始数据,所有加密性很弱。
    kubernetes.io/dockerconfigjson:用来存储私有 docker registry 的认证信息。
    kubernetes.io/service-account-token: 用于被 serviceaccount 引用。serviceaccout 创建时 Kubernetes 会默认创建对应的 secret。Pod 如果使用了 serviceaccount,对应的 secret 会自动挂载到 Pod 的 /run/secrets/kubernetes.io/serviceaccount 目录中。
备注:serviceaccount 用来使得 Pod 能够访问 Kubernetes API

API 版本对照表

Kubernetes 版本
Core API 版本
v1.5+
core/v1

Opaque Secret

Opaque 类型的数据是一个 map 类型,要求 value 是 base64 编码格式:
1
$ echo -n "admin" | base64
2
YWRtaW4=
3
$ echo -n "1f2d1e2e67df" | base64
4
MWYyZDFlMmU2N2Rm
Copied!
secrets.yml
1
apiVersion: v1
2
kind: Secret
3
metadata:
4
name: mysecret
5
type: Opaque
6
data:
7
password: MWYyZDFlMmU2N2Rm
8
username: YWRtaW4=
Copied!
创建 secret:kubectl create -f secrets.yml
1
# kubectl get secret
2
NAME TYPE DATA AGE
3
default-token-cty7p kubernetes.io/service-account-token 3 45d
4
mysecret Opaque 2 7s
Copied!
注意:其中 default-token-cty7p 为创建集群时默认创建的 secret,被 serviceacount/default 引用。
如果是从文件创建 secret,则可以用更简单的 kubectl 命令,比如创建 tls 的 secret:
1
$ kubectl create secret generic helloworld-tls \
2
--from-file=key.pem \
3
--from-file=cert.pem
Copied!

Opaque Secret 的使用

创建好 secret 之后,有两种方式来使用它:
    以 Volume 方式
    以环境变量方式

将 Secret 挂载到 Volume 中

1
apiVersion: v1
2
kind: Pod
3
metadata:
4
labels:
5
name: db
6
name: db
7
spec:
8
volumes:
9
- name: secrets
10
secret:
11
secretName: mysecret
12
containers:
13
- image: gcr.io/my_project_id/pg:v1
14
name: db
15
volumeMounts:
16
- name: secrets
17
mountPath: "/etc/secrets"
18
readOnly: true
19
ports:
20
- name: cp
21
containerPort: 5432
22
hostPort: 5432
Copied!
查看 Pod 中对应的信息:
1
# ls /etc/secrets
2
password username
3
# cat /etc/secrets/username
4
admin
5
# cat /etc/secrets/password
6
1f2d1e2e67df
Copied!

将 Secret 导出到环境变量中

1
apiVersion: extensions/v1beta1
2
kind: Deployment
3
metadata:
4
name: wordpress-deployment
5
spec:
6
replicas: 2
7
strategy:
8
type: RollingUpdate
9
template:
10
metadata:
11
labels:
12
app: wordpress
13
visualize: "true"
14
spec:
15
containers:
16
- name: "wordpress"
17
image: "wordpress"
18
ports:
19
- containerPort: 80
20
env:
21
- name: WORDPRESS_DB_USER
22
valueFrom:
23
secretKeyRef:
24
name: mysecret
25
key: username
26
- name: WORDPRESS_DB_PASSWORD
27
valueFrom:
28
secretKeyRef:
29
name: mysecret
30
key: password
Copied!

将 Secret 挂载指定的 key

1
apiVersion: v1
2
kind: Pod
3
metadata:
4
labels:
5
name: db
6
name: db
7
spec:
8
volumes:
9
- name: secrets
10
secret:
11
secretName: mysecret
12
items:
13
- key: password
14
mode: 511
15
path: tst/psd
16
- key: username
17
mode: 511
18
path: tst/usr
19
containers:
20
- image: nginx
21
name: db
22
volumeMounts:
23
- name: secrets
24
mountPath: "/etc/secrets"
25
readOnly: true
26
ports:
27
- name: cp
28
containerPort: 80
29
hostPort: 5432
Copied!
创建 Pod 成功后,可以在对应的目录看到:
1
# kubectl exec db ls /etc/secrets/tst
2
psd
3
usr
Copied!
注意
1、kubernetes.io/dockerconfigjsonkubernetes.io/service-account-token 类型的 secret 也同样可以被挂载成文件 (目录)。 如果使用 kubernetes.io/dockerconfigjson 类型的 secret 会在目录下创建一个. dockercfg 文件
1
[email protected]:/etc/secrets# ls -al
2
total 4
3
drwxrwxrwt 3 root root 100 Aug 5 16:06 .
4
drwxr-xr-x 42 root root 4096 Aug 5 16:06 ..
5
drwxr-xr-x 2 root root 60 Aug 5 16:06 ..8988_06_08_00_06_52.433429084
6
lrwxrwxrwx 1 root root 31 Aug 5 16:06 ..data -> ..8988_06_08_00_06_52.433429084
7
lrwxrwxrwx 1 root root 17 Aug 5 16:06 .dockercfg -> ..data/.dockercfg
Copied!
如果使用 kubernetes.io/service-account-token 类型的 secret 则会创建 ca.crt,namespace,token 三个文件
1
[email protected]:/etc/secrets# ls
2
ca.crt namespace token
Copied!
2、secrets 使用时被挂载到一个临时目录,Pod 被删除后 secrets 挂载时生成的文件也会被删除。
1
[email protected]:/etc/secrets# df
2
Filesystem 1K-blocks Used Available Use% Mounted on
3
none 123723748 4983104 112432804 5% /
4
tmpfs 1957660 0 1957660 0% /dev
5
tmpfs 1957660 0 1957660 0% /sys/fs/cgroup
6
/dev/vda1 51474044 2444568 46408092 6% /etc/hosts
7
tmpfs 1957660 12 1957648 1% /etc/secrets
8
/dev/vdb 123723748 4983104 112432804 5% /etc/hostname
9
shm 65536 0 65536 0% /dev/shm
Copied!
但如果在 Pod 运行的时候,在 Pod 部署的节点上还是可以看到:
1
# 查看 Pod 中容器 Secret 的相关信息,其中 4392b02d-79f9-11e7-a70a-525400bc11f0 为 Pod 的 UUID
2
"Mounts": [
3
{
4
"Source": "/var/lib/kubelet/pods/4392b02d-79f9-11e7-a70a-525400bc11f0/volumes/kubernetes.io~secret/secrets",
5
"Destination": "/etc/secrets",
6
"Mode": "ro",
7
"RW": false,
8
"Propagation": "rprivate"
9
}
10
]
11
#在 Pod 部署的节点查看
12
[email protected]:/var/lib/kubelet/pods/4392b02d-79f9-11e7-a70a-525400bc11f0/volumes/kubernetes.io~secret/secrets# ls -al
13
total 4
14
drwxrwxrwt 3 root root 140 Aug 6 00:15 .
15
drwxr-xr-x 3 root root 4096 Aug 6 00:15 ..
16
drwxr-xr-x 2 root root 100 Aug 6 00:15 ..8988_06_08_00_15_14.253276142
17
lrwxrwxrwx 1 root root 31 Aug 6 00:15 ..data -> ..8988_06_08_00_15_14.253276142
18
lrwxrwxrwx 1 root root 13 Aug 6 00:15 ca.crt -> ..data/ca.crt
19
lrwxrwxrwx 1 root root 16 Aug 6 00:15 namespace -> ..data/namespace
20
lrwxrwxrwx 1 root root 12 Aug 6 00:15 token -> ..data/token
Copied!

kubernetes.io/dockerconfigjson

可以直接用 kubectl 命令来创建用于 docker registry 认证的 secret:
1
$ kubectl create secret docker-registry myregistrykey --docker-server=DOCKER_REGISTRY_SERVER --docker-username=DOCKER_USER --docker-password=DOCKER_PASSWORD --docker-email=DOCKER_EMAIL
2
secret "myregistrykey" created.
Copied!
查看 secret 的内容:
1
# kubectl get secret myregistrykey -o yaml
2
apiVersion: v1
3
data:
4
.dockercfg: eyJjY3IuY2NzLnRlbmNlbnR5dW4uY29tL3RlbmNlbnR5dW4iOnsidXNlcm5hbWUiOiIzMzIxMzM3OTk0IiwicGFzc3dvcmQiOiIxMjM0NTYuY29tIiwiZW1haWwiOiIzMzIxMzM3OTk0QHFxLmNvbSIsImF1dGgiOiJNek15TVRNek56azVORG94TWpNME5UWXVZMjl0In19
5
kind: Secret
6
metadata:
7
creationTimestamp: 2017-08-04T02:06:05Z
8
name: myregistrykey
9
namespace: default
10
resourceVersion: "1374279324"
11
selfLink: /api/v1/namespaces/default/secrets/myregistrykey
12
uid: 78f6a423-78b9-11e7-a70a-525400bc11f0
13
type: kubernetes.io/dockercfg
Copied!
通过 base64 对 secret 中的内容解码:
1
# echo "eyJjY3IuY2NzLnRlbmNlbnR5dW4uY29tL3RlbmNlbnR5dW4iOnsidXNlcm5hbWUiOiIzMzIxMzM3OTk0IiwicGFzc3dvcmQiOiIxMjM0NTYuY29tIiwiZW1haWwiOiIzMzIxMzM3OTk0QHFxLmNvbSIsImF1dGgiOiJNek15TVRNek56azVORG94TWpNME5UWXVZMjl0XXXX" | base64 --decode
2
{"ccr.ccs.tencentyun.com/XXXXXXX":{"username":"3321337XXX","password":"123456.com","email":"[email protected]","auth":"MzMyMTMzNzk5NDoxMjM0NTYuY29t"}}
Copied!
也可以直接读取 ~/.dockercfg 的内容来创建:
1
$ kubectl create secret docker-registry myregistrykey \
2
--from-file="~/.dockercfg"
Copied!
在创建 Pod 的时候,通过 imagePullSecrets 来引用刚创建的 myregistrykey:
1
apiVersion: v1
2
kind: Pod
3
metadata:
4
name: foo
5
spec:
6
containers:
7
- name: foo
8
image: janedoe/awesomeapp:v1
9
imagePullSecrets:
10
- name: myregistrykey
Copied!

kubernetes.io/service-account-token

kubernetes.io/service-account-token: 用于被 serviceaccount 引用。serviceaccout 创建时 Kubernetes 会默认创建对应的 secret。Pod 如果使用了 serviceaccount,对应的 secret 会自动挂载到 Pod 的 /run/secrets/kubernetes.io/serviceaccount 目录中。
1
$ kubectl run nginx --image nginx
2
deployment "nginx" created
3
$ kubectl get pods
4
NAME READY STATUS RESTARTS AGE
5
nginx-3137573019-md1u2 1/1 Running 0 13s
6
$ kubectl exec nginx-3137573019-md1u2 ls /run/secrets/kubernetes.io/serviceaccount
7
ca.crt
8
namespace
9
token
Copied!

存储加密

v1.7 + 版本支持将 Secret 数据加密存储到 etcd 中,只需要在 apiserver 启动时配置 --experimental-encryption-provider-config。加密配置格式为
1
kind: EncryptionConfig
2
apiVersion: v1
3
resources:
4
- resources:
5
- secrets
6
providers:
7
- aescbc:
8
keys:
9
- name: key1
10
secret: c2VjcmV0IGlzIHNlY3VyZQ==
11
- name: key2
12
secret: dGhpcyBpcyBwYXNzd29yZA==
13
- identity: {}
14
- aesgcm:
15
keys:
16
- name: key1
17
secret: c2VjcmV0IGlzIHNlY3VyZQ==
18
- name: key2
19
secret: dGhpcyBpcyBwYXNzd29yZA==
20
- secretbox:
21
keys:
22
- name: key1
23
secret: YWJjZGVmZ2hpamtsbW5vcHFyc3R1dnd4eXoxMjM0NTY=
Copied!
其中
    resources.resources 是 Kubernetes 的资源名
    resources.providers 是加密方法,支持以下几种
      identity:不加密
      aescbc:AES-CBC 加密
      secretbox:XSalsa20 和 Poly1305 加密
      aesgcm:AES-GCM 加密
Secret 是在写存储的时候加密,因而可以对已有的 secret 执行 update 操作来保证所有的 secrets 都加密
1
kubectl get secrets -o json | kubectl update -f -
Copied!
如果想取消 secret 加密的话,只需要把 identity 放到 providers 的第一个位置即可(aescbc 还要留着以便访问已存储的 secret):
1
kind: EncryptionConfig
2
apiVersion: v1
3
resources:
4
- resources:
5
- secrets
6
providers:
7
- identity: {}
8
- aescbc:
9
keys:
10
- name: key1
11
secret: c2VjcmV0IGlzIHNlY3VyZQ==
12
- name: key2
13
secret: dGhpcyBpcyBwYXNzd29yZA==
Copied!

不可变 Secret

不可变 Secret 在 v1.21.0 进入稳定版本。
对于大量使用 Secret 的 集群而言(如有数万个各不相同的 Secret 给 Pod 挂载),禁止更改 Secret 的数据有很多好处:
    保护应用,使之免受意外更新所带来的负面影响。
    通过大幅降低对 kube-apiserver 的压力提升集群性能,这是因为 Kubernetes 会关闭不可变 Secret 的监视操作。
1
apiVersion: v1
2
kind: Secret
3
metadata:
4
...
5
data:
6
...
7
immutable: true
Copied!

Secret 与 ConfigMap 对比

相同点:
    key/value 的形式
    属于某个特定的 namespace
    可以导出到环境变量
    可以通过目录 / 文件形式挂载 (支持挂载所有 key 和部分 key)
不同点:
    Secret 可以被 ServerAccount 关联 (使用)
    Secret 可以存储 register 的鉴权信息,用在 ImagePullSecret 参数中,用于拉取私有仓库的镜像
    Secret 支持 Base64 加密
    Secret 分为 Opaque,kubernetes.io/Service Account,kubernetes.io/dockerconfigjson 三种类型, Configmap 不区分类型
    Secret 文件存储在 tmpfs 文件系统中,Pod 删除后 Secret 文件也会对应的删除。

参考文档

最近更新 6mo ago