Kuryr
Kuryr 是 OpenStack Neutron 的子项目,其主要目标是透过该项目来集成 OpenStack 与 Kubernetes 的网络。该项目在 Kubernetes 中实作了原生 Neutron-based 的网络,因此使用 Kuryr-Kubernetes 可以让 OpenStack VM 与 Kubernetes Pods 能够选择在同一个子网络上运作,并且能够使用 Neutron L3 与 Security Group 来对网络进行路由,以及阻挡特定来源 Port,并且也提供基于 Neutron LBaaS 的 Service 集成。
Kuryr-Kubernetes 有以两个主要部分组成:
    1.
    Kuryr Controller: Controller 主要目的是监控 Kubernetes API 的来获取 Kubernetes 资源的变化,然后依据 Kubernetes 资源的需求来运行子资源的分配和资源管理。
    2.
    Kuryr CNI:主要是依据 Kuryr Controller 分配的资源来绑定网络至 Pods 上。

devstack 部署

最简单的方式是使用 devstack 部署一个单机环境:
1
$ git clone https://git.openstack.org/openstack-dev/devstack
2
$ ./devstack/tools/create-stack-user.sh
3
$ sudo su stack
4
5
$ git clone https://git.openstack.org/openstack-dev/devstack
6
$ git clone https://git.openstack.org/openstack/kuryr-kubernetes
7
$ cp kuryr-kubernetes/devstack/local.conf.sample devstack/local.conf
8
9
# start install
10
$ ./devstack/stack.sh
Copied!
部署完成后,验证安装成功
1
$ source /devstack/openrc admin admin
2
$ openstack service list
3
+----------------------------------+------------------+------------------+
4
| ID | Name | Type |
5
+----------------------------------+------------------+------------------+
6
| 091e3e2813cc4904b74b60c41e8a98b3 | kuryr-kubernetes | kuryr-kubernetes |
7
| 2b6076dd5fc04bf180e935f78c12d431 | neutron | network |
8
| b598216086944714aed2c233123fc22d | keystone | identity |
9
+----------------------------------+------------------+------------------+
10
11
$ kubectl get nodes
12
NAME STATUS AGE VERSION
13
localhost Ready 2m v1.6.2
Copied!

多机部署

本篇我們將說明如何利用 DevStackKubespray 建立一個簡單的測試環境。

环境资源与事前准备

准备两台实体机器,这边测试的作业系统为 CentOS 7.x,该环境将在平面的网络下进行。
IP Address 1
Role
172.24.0.34
controller, k8s-master
172.24.0.80
compute1, k8s-node1
172.24.0.81
compute2, k8s-node2
更新每台节点的 CentOS 7.x 包:
1
$ sudo yum --enablerepo=cr update -y
Copied!
然后关闭 firewalld 以及 SELinux 来避免实现发生问题:
1
$ sudo setenforce 0
2
$ sudo systemctl disable firewalld && sudo systemctl stop firewalld
Copied!

OpenStack Controller 安裝

首先进入 172.24.0.34(controller),并且运行以下命令。
然后运行以下命令来建立 DevStack 专用用户:
1
$ sudo useradd -s /bin/bash -d /opt/stack -m stack
2
$ echo "stack ALL=(ALL) NOPASSWD: ALL" | sudo tee /etc/sudoers.d/stack
Copied!
接着切换至该用户环境来创建 OpenStack:
1
$ sudo su - stack
Copied!
下载 DevStack:
1
$ git clone https://git.openstack.org/openstack-dev/devstack
2
$ cd devstack
Copied!
新增 local.conf 文档,来描述部署资讯:
1
[[local|localrc]]
2
HOST_IP=172.24.0.34
3
GIT_BASE=https://github.com
4
5
ADMIN_PASSWORD=passwd
6
DATABASE_PASSWORD=passwd
7
RABBIT_PASSWORD=passwd
8
SERVICE_PASSWORD=passwd
9
SERVICE_TOKEN=passwd
10
MULTI_HOST=1
Copied!
修改 HOST_IP 为自己的 IP 。
完成后,运行以下命令开始部署:
1
$ ./stack.sh
Copied!

Openstack Compute 安装

进入到 172.24.0.80(compute)172.24.0.81(node2),并且运行以下命令。
然后运行以下命令来建立 DevStack 专用用户:
1
$ sudo useradd -s /bin/bash -d /opt/stack -m stack
2
$ echo "stack ALL=(ALL) NOPASSWD: ALL" | sudo tee /etc/sudoers.d/stack
Copied!
接着切换至该用户环境来创建 OpenStack:
1
$ sudo su - stack
Copied!
下载 DevStack:
1
$ git clone https://git.openstack.org/openstack-dev/devstack
2
$ cd devstack
Copied!
新增 local.conf 文档,来描述部署资讯:
1
[[local|localrc]]
2
HOST_IP=172.24.0.80
3
GIT_BASE=https://github.com
4
MULTI_HOST=1
5
LOGFILE=/opt/stack/logs/stack.sh.log
6
ADMIN_PASSWORD=passwd
7
DATABASE_PASSWORD=passwd
8
RABBIT_PASSWORD=passwd
9
SERVICE_PASSWORD=passwd
10
DATABASE_TYPE=mysql
11
12
SERVICE_HOST=172.24.0.34
13
MYSQL_HOST=$SERVICE_HOST
14
RABBIT_HOST=$SERVICE_HOST
15
GLANCE_HOSTPORT=$SERVICE_HOST:9292
16
ENABLED_SERVICES=n-cpu,q-agt,n-api-meta,c-vol,placement-client
17
NOVA_VNC_ENABLED=True
18
NOVNCPROXY_URL="http://$SERVICE_HOST:6080/vnc_auto.html"
19
VNCSERVER_LISTEN=$HOST_IP
20
VNCSERVER_PROXYCLIENT_ADDRESS=$VNCSERVER_LISTEN
Copied!
修改 HOST_IP 为自己的主机位置。 修改 SERVICE_HOST 为 Master 的 IP。
完成后,运行以下命令开始部署:
1
$ ./stack.sh
Copied!

创建 Kubernetes 集群环境

首先确认所有节点之间不需要 SSH 密码即可登入,接着进入到 172.24.0.34(k8s-master) 并且运行以下命令。
接着安装所需要的软件包:
1
$ sudo yum -y install software-properties-common ansible git gcc python-pip python-devel libffi-devel openssl-devel
2
$ sudo pip install -U kubespray
Copied!
完成后,创建 kubespray 配置档:
1
$ cat <<EOF> ~/.kubespray.yml
2
kubespray_git_repo: "https://github.com/kubernetes-incubator/kubespray.git"
3
# Logging options
4
loglevel: "info"
5
EOF
Copied!
利用 kubespray-cli 快速产生环境的 inventory 文档,并修改部分内容:
1
$ sudo -i
2
$ kubespray prepare --masters master --etcds master --nodes node1
Copied!
编辑 /root/.kubespray/inventory/inventory.cfg 文档,修改以下内容:
1
[all]
2
master ansible_host=172.24.0.34 ansible_user=root ip=172.24.0.34
3
node1 ansible_host=172.24.0.80 ansible_user=root ip=172.24.0.80
4
node2 ansible_host=172.24.0.81 ansible_user=root ip=172.24.0.81
5
6
[kube-master]
7
master
8
9
[kube-node]
10
master
11
node1
12
node2
13
14
[etcd]
15
master
16
17
[k8s-cluster:children]
18
kube-node
19
kube-master
Copied!
完成后,即可利用 kubespray-cli 来进行部署:
1
$ kubespray deploy --verbose -u root -k .ssh/id_rsa -n calico
Copied!
经过一段时间后就会部署完成,这时候检查节点是否正常:
1
$ kubectl get no
2
NAME STATUS AGE VERSION
3
master Ready,master 2m v1.7.4
4
node1 Ready 2m v1.7.4
5
node2 Ready 2m v1.7.4
Copied!
接着为了方便让 Kuryr Controller 简单取得 K8s API Server,这边修改 /etc/kubernetes/manifests/kube-apiserver.yml 文档,加入以下内容:
1
- "--insecure-bind-address=0.0.0.0"
2
- "--insecure-port=8080"
Copied!
将 insecure 绑定到 0.0.0.0 之上,以及开启 8080 Port。

安装 Openstack Kuryr Controller

进入到 172.24.0.34(controller),并且运行以下命令。
首先在节点安装所需要的软件包:
1
$ sudo yum -y install gcc libffi-devel python-devel openssl-devel install python-pip
Copied!
下载 kuryr-kubernetes 并进行安装:
1
$ git clone http://git.openstack.org/openstack/kuryr-kubernetes
2
$ pip install -e kuryr-kubernetes
Copied!
创建 kuryr.conf/etc/kuryr 目录
1
$ cd kuryr-kubernetes
2
$ ./tools/generate_config_file_samples.sh
3
$ sudo mkdir -p /etc/kuryr/
4
$ sudo cp etc/kuryr.conf.sample /etc/kuryr/kuryr.conf
Copied!
使用 OpenStack Dashboard 建立项目,在浏览器输入 http://172.24.0.34,并运行以下步骤。
    1.
    创建 k8s project。
    2.
    创建 kuryr-kubernetes service,并修改 k8s project member 加入到 service project。
    3.
    在该 Project 中新增 Security Groups,参考 kuryr-kubernetes manually
    4.
    在该 Project 中新增 pod_subnet 子网络。
    5.
    在该 Project 中新增 service_subnet 子网络。
完成后,修改 /etc/kuryr/kuryr.conf 文档,加入以下内容:
1
[DEFAULT]
2
use_stderr = true
3
bindir = /usr/local/libexec/kuryr
4
5
[kubernetes]
6
api_root = http://172.24.0.34:8080
7
8
[neutron]
9
auth_url = http://172.24.0.34/identity
10
username = admin
11
user_domain_name = Default
12
password = admin
13
project_name = service
14
project_domain_name = Default
15
auth_type = password
16
17
[neutron_defaults]
18
ovs_bridge = br-int
19
pod_security_groups = {id_of_secuirity_group_for_pods}
20
pod_subnet = {id_of_subnet_for_pods}
21
project = {id_of_project}
22
service_subnet = {id_of_subnet_for_k8s_services}
Copied!
完成后运行 kuryr-k8s-controller:
1
$ kuryr-k8s-controller --config-file /etc/kuryr/kuryr.conf&
Copied!

安装 Kuryr-CNI

进入到 172.24.0.80(node1)172.24.0.81(node2) 并运行以下命令。
首先在节点安装所需要的软件包
1
$ sudo yum -y install gcc libffi-devel python-devel openssl-devel python-pip
Copied!
安装 Kuryr-CNI 来提供给 kubelet 使用:
1
$ git clone http://git.openstack.org/openstack/kuryr-kubernetes
2
$ sudo pip install -e kuryr-kubernetes
Copied!
创建 kuryr.conf/etc/kuryr 目录:
1
$ cd kuryr-kubernetes
2
$ ./tools/generate_config_file_samples.sh
3
$ sudo mkdir -p /etc/kuryr/
4
$ sudo cp etc/kuryr.conf.sample /etc/kuryr/kuryr.conf
Copied!
修改 /etc/kuryr/kuryr.conf 文档,加入以下内容:
1
[DEFAULT]
2
use_stderr = true
3
bindir = /usr/local/libexec/kuryr
4
[kubernetes]
5
api_root = http://172.24.0.34:8080
Copied!
创建 CNI bin 与 Conf 目录:
1
$ sudo mkdir -p /opt/cni/bin
2
$ sudo ln -s $(which kuryr-cni) /opt/cni/bin/
3
$ sudo mkdir -p /etc/cni/net.d/
Copied!
新增 /etc/cni/net.d/10-kuryr.conf CNI 配置档:
1
{
2
"cniVersion": "0.3.0",
3
"name": "kuryr",
4
"type": "kuryr-cni",
5
"kuryr_conf": "/etc/kuryr/kuryr.conf",
6
"debug": true
7
}
Copied!
完成后,更新 oslo 与 vif python 库:
1
$ sudo pip install 'oslo.privsep>=1.20.0' 'os-vif>=1.5.0'
Copied!
最后重新启动服务:
1
$ sudo systemctl daemon-reload && systemctl restart kubelet.service
Copied!

测试结果

创建一个 Pod 与 OpenStack VM 来进行通信:

参考文档

最近更新 1yr ago