CentOS7单节点部署OpenStack-Pike(使用kolla-ansible)

环境说明

物理机是16GB内存的MacBook Pro

使用VIrtualBox创建的CentOS7虚拟机，8GB内存，40GB磁盘

CentOS7使用CentOS 7 X64 1708发行版网易的源

两张网卡enp0s3（桥接）和enp0s8（Host Only），enp0s3的地址为192.168.0.25，enp0s8的地址为192.168.56.101

系统服务配置

启动NTP

systemctl enable ntpd.service && systemctl start ntpd.service && systemctl status ntpd.service

关闭libvirted服务器

systemctl stop libvirtd.service && systemctl disable libvirtd.service && systemctl status libvirtd.service

关闭防火墙

systemctl stop firewalld && systemctl disable firewalld && systemctl status firewalld

修改主机名

vi /etc/hostname
kolla

vi /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.26.6 kolla kolla

安装docker

使用离线安装方式（原因：国内网络问题，下载国外源超时），离线安装代码库

yum install git
git clone https://github.com/yaoelvon/docker-installer.git
cd docker-installer/RPM-based/docker/
sh install.sh

配置国内镜像源

使用阿里云镜像源

mkdir -p /etc/docker
vi /etc/docker/daemon.json
{
  "registry-mirrors": ["https://7g5a4z30.mirror.aliyuncs.com"]
}

重启Docker服务

systemctl daemon-reload && systemctl enable docker && systemctl restart docker && systemctl status docker

检查镜像服务是否正常

docker run --rm hello-world

安装和配置Kolla-Ansible

安装依赖

yum install epel-release
yum install python-pip
pip install -U pip
yum install python-devel libffi-devel gcc openssl-devel libselinux-python

安装ansible

yum install ansible

# 在ansible配置文件中增加信息/etc/ansible/ansibel.cfg
[defaults]
host_key_checking=False
pipelining=True
forks=100

安装kolla-ansible

pip install kolla-ansible

拷贝globals.yml和passwords.yml文件到/etc/kolla目录

cp -r /root/venv/share/kolla-ansible/etc_examples/kolla /etc/kolla/

拷贝all-in-one和multinode inventory文件到当前文件夹

cp /root/venv/share/kolla-ansible/ansible/inventory/* .

配置单节点清单文件（目前只有一个节点）

将所有的localhost改为kolla

$ /opt/kolla/config/
$ vi all-in-one
...

[control]
#localhost       ansible_connection=local
kolla

[network]
#localhost       ansible_connection=local
kolla

[compute]
#localhost       ansible_connection=local
kolla

[storage]
#localhost       ansible_connection=local
kolla

[monitoring]
#localhost       ansible_connection=local
kolla

[deployment]
#localhost       ansible_connection=local
kolla

...

生成随机密码文件

kolla-genpwd

修改其中的admin密码，后面的Web页面会用到：

vi /etc/kolla/passwords.yml
...
keystone_admin_password: admin123456
...

修改全局配置

vi /etc/kolla/globals.yml

···
kolla_base_distro: "centos"
kolla_install_type: "source"
openstack_release: "pike"
kolla_internal_vip_address: "192.168.0.27"
network_interface: "enp0s3"
neutron_external_interface: "enp0s8"
enable_cinder: "yes"
enable_cinder_backend_lvm: "yes"
···

生成SSH Key，并授信本节点

$ ssh-keygen
$ ssh-copy-id -i ~/.ssh/id_rsa.pub root@killa

配置Nova虚拟化类型

由于是在虚拟机里，所以使用qemu，而不是kvm

$ mkdir -pv /etc/kolla/config/nova

$ vi /etc/kolla/config/nova/nova-compute.conf
[libvirt]
virt_type=qemu
cpu_mode = none

配置Kolla-Ansible的Docker选项

配置Docker共享挂载

mkdir -pv /etc/systemd/system/docker.service.d
vi /etc/systemd/system/docker.service.d/kolla.conf
[Service]
MountFlags=shared

重启Docker服务

$ systemctl daemon-reload && systemctl restart docker && systemctl status docker

部署OpenStack

检查配置是否正确

kolla-ansible -i ./all-in-one prechecks

拉取所有镜像

$ kolla-ansible pull -i ./all-in-one

开始部署

$ kolla-ansible -i ./all-in-one deploy

生成环境变量设置脚本

$ kolla-ansible post-deploy -i ./all-in-one

$ cat  /etc/kolla/admin-openrc.sh
export OS_PROJECT_DOMAIN_NAME=Default
export OS_USER_DOMAIN_NAME=Default
export OS_PROJECT_NAME=admin
export OS_TENANT_NAME=admin
export OS_USERNAME=admin
export OS_PASSWORD=admin1234
export OS_AUTH_URL=http://192.168.0.27:35357/v3
export OS_INTERFACE=internal
export OS_IDENTITY_API_VERSION=3
export OS_REGION_NAME=RegionOne
export OS_AUTH_PLUGIN=password

如果想清理掉部署好的OpenStack，则执行如下命令

kolla-ansible destroy -i all-in-one --yes-i-really-really-mean-it

验证OpenStack

安装OpenStack命令行工具
$ pip install python-openstackclient
$ pip install python-neutronclient

$ which openstack
/usr/bin/openstack


设置环境变量
$ . /etc/kolla/admin-openrc.sh


编辑初始化脚本中的网络配置
$ vi /usr/share/kolla-ansible/init-runonce
...

EXT_NET_CIDR='192.168.56.0/24'
EXT_NET_RANGE='start=192.168.56.150,end=192.168.56.199'
EXT_NET_GATEWAY='192.168.56.1'

...

初始化基本的运行环境（镜像和网络等）
$ . /usr/share/kolla-ansible/init-runonce

创建虚拟机

创建并启动虚拟机：
$ openstack server create     --image cirros     --flavor m1.tiny     --key-name mykey     --nic net-id=f67756b6-06cd-450e-9079-58c769a9581e     demo1

查看虚拟机信息：
$ openstack server show demo1

查看demo1的Web控制台URL：
$ openstack console url show demo1

申请一个"Floating IP"（也可以使用“--floating-ip-address”参数指定要申请的IP）：
$ openstack floating ip create public1

把这个“Floating IP”添加给demo1虚拟机：
$ openstack server add floating ip demo1 192.168.56.157

查看demo1虚拟机：
$ openstack server list

查看已有的网络的NameSpace：
$ ip netns

验证网络是否正常：
$ ip netns exec qrouter-2ca6f6a6-dee3-461f-9d8b-3bbb14889b58 ping 192.168.56.157
$ ip netns exec qdhcp-f67756b6-06cd-450e-9079-58c769a9581e ping 10.0.0.11
$ ip netns exec qrouter-2ca6f6a6-dee3-461f-9d8b-3bbb14889b58 ssh cirros@192.168.56.157

访问http://192.168.0.25可以登录web页面，账户是admin，密码时admin123456.

问题记录

1.如果在安装kolla-ansible时出现pip库版本冲突

使用virtualenv方式安装kolla-ansible

2.prechecks时报错：Hostname has to resolve to IP address of api_interface

解决方案：

$ vi /etc/hosts
增加
192.168.0.25  kolla kolla

3.prechecks时报错：no test named 'equalto'

这是一个共性问题，prechecks时，提示很多库不存在、版本不对等等问题都是相同问题。
详细错误信息如下：

TASK [neutron : Checking tenant network types] ****************************************************************************************
fatal: [controller]: FAILED! => {"msg": "The conditional check 'item not in type_drivers' failed. The error was: An unhandled exception occurred while templating '{{ neutron_type_drivers.replace(' ', '').split(',') | reject('equalto', '') | list }}'. Error was a <class 'jinja2.exceptions.TemplateRuntimeError'>, original message: no test named 'equalto'\n\nThe error appears to have been in '/root/venv/share/kolla-ansible/ansible/roles/neutron/tasks/precheck.yml': line 41, column 3, but may\nbe elsewhere in the file depending on the exact syntax problem.\n\nThe offending line appears to be:\n\n\n- name: Checking tenant network types\n  ^ here\n"}

处理过程：
由于我是在virtualenv环境下安装的kolla-ansible库，所以在虚拟环境下运行precheck，当报上述错误时，我就去网上找原因，都说是jinja2的版本问题，升级到2.8就可以解决。但是，我检查本地版本发现是2.10。
.....折腾好久.....，尝试进入源码将equalto部分去掉，发现改一个不够，有很多，而且很多是无法修改的。。
隔日：发现非virtualenv环境下，本机的jinja2版本为2.7.2。没想到在virutalenv情况下，代码会调用系统的jinja2库，升级本机的jinja2版本解决。

再次深入发现，原因是ansible部署机上安装的库，不会被目标机所使用。如果kolla所在主机和目标机是两台机器，那么在kolla主机上安装的库，无法用于目标机。我这边所处的情况是，kolla主机和目标机是一台主机，但kolla-ansbile是安装在virtualenv环境中的，虽然我在virtualenv中安装了所有所需的库，但是使用ansible部署openstack时，作为目标机情况下，只能使用默认安装目录下的库。

解决方案：
1.使用CentOS 7 X64 1708发行版，不使用virtualenv方式，直接安装kolla-ansible；
2.通过设置目标机的一些变量来指定virtualenv目录（未校验），详细见：参考 8

4.deploy时，总是提示某个端口被占用

解决方案：
将VIP address设置为网卡1同网段的另一个ip地址，这里设置的是192.168.0.27

5.deploy时报错 Please enable at least one backend when enabling Cinder

解决方案：
使能一个Cinder backend服务，从下面源码中可以看到服务列表，我这里将/etc/kolla/global.yml文件中的enable_cinder_backend_lvm设置为yes

- name: Checking at least one valid backend is enabled for Cinder
  run_once: True
  local_action: fail msg="Please enable at least one backend when enabling Cinder"
  when:
    - not enable_cinder_backend_hnas_iscsi | bool
    - not enable_cinder_backend_hnas_nfs | bool
    - not enable_cinder_backend_iscsi | bool
    - not enable_cinder_backend_lvm | bool
    - not enable_cinder_backend_nfs | bool
    - not cinder_backend_ceph | bool
    - not cinder_backend_vmwarevc_vmdk | bool
    - not enable_cinder_backend_zfssa_iscsi | bool

6.执行precheck时报错Cannot process volume group cinder-volumes

解决方案：手工建立卷

$ vgdisplay
  --- Volume group ---
  VG Name               centos
  System ID
  Format                lvm2
  Metadata Areas        1
  Metadata Sequence No  3
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                2
  Open LV               2
  Max PV                0
  Cur PV                1
  Act PV                1
  VG Size               <29.00 GiB
  PE Size               4.00 MiB
  Total PE              7423
  Alloc PE / Size       7423 / <29.00 GiB
  Free  PE / Size       0 / 0
  VG UUID               yPO02e-lgFP-83Xd-ZQKB-NHJH-DQ1J-hoRAmp

$ dd if=/dev/zero of=./disk.img count=4096 bs=1MB
记录了4096+0 的读入
记录了4096+0 的写出
4096000000字节(4.1 GB)已复制，3.44225 秒，1.2 GB/秒
$ losetup -f
/dev/loop0
$ losetup /dev/loop0 disk.img
$ pvcreate /dev/loop0
  Physical volume "/dev/loop0" successfully created.
$ vgcreate cinder-volumes /dev/loop0
  Volume group "cinder-volumes" successfully created

7.执行deploy报错：TASK [neutron : Checking if 'MountFlags' for docker service is set to 'shared']

解决方案：
配置Docker共享挂载

$ mkdir -pv /etc/systemd/system/docker.service.d
$ vi /etc/systemd/system/docker.service.d/kolla.conf
[Service]
MountFlags=shared

重启Docker服务后生效：
$ systemctl daemon-reload && systemctl restart docker && systemctl status docker

8.执行deploy报错：iscsid: Can not bind IPC socket

原因：
nova的iscsid容器启动失败，因为compute主机上的iscsid服务占用了IPC socket
解决方案:

yum remove iscsi-initiator-utils 

进一步
$ sudo systemctl stop iscsid.socket iscsiuio.socket iscsid.service 
$ sudo systemctl disable iscsid.socket iscsiuio.socket iscsid.service

9.创建VM报错：No valid host was found. There are not enough hosts available.

nova-scheduler日志所在位置 /var/lib/docker/volumes/kolla_logs/_data/nova-scheduler
查看日志

2018-05-02 11:26:52.144 5 INFO nova.scheduler.filters.retry_filter [req-5b0d340c-c28b-4189-8dfd-7a7133ad10c1 36efcd30d08c4aeda9d5b28d9b1e8ffd a99799886ef648dc891f2df8ae4867af - default default] Host [u'kolla', u'kolla'] fails.  Previously tried hosts: [[u'kolla', u'kolla']]
2018-05-02 11:26:52.145 5 INFO nova.filters [req-5b0d340c-c28b-4189-8dfd-7a7133ad10c1 36efcd30d08c4aeda9d5b28d9b1e8ffd a99799886ef648dc891f2df8ae4867af - default default] Filter RetryFilter returned 0 hosts
2018-05-02 11:26:52.145 5 INFO nova.filters [req-5b0d340c-c28b-4189-8dfd-7a7133ad10c1 36efcd30d08c4aeda9d5b28d9b1e8ffd a99799886ef648dc891f2df8ae4867af - default default] Filtering removed all hosts for the request with instance ID '49910620-0093-4eae-9f53-003709acd1c3'. Filter results: ['RetryFilter: (start: 1, end: 0)']

可以看出，通过调度过滤，没有找到可用的host。

原因是：
openstack集群是通过virtualbox部署的，而virtualbox已经使用了kvm技术，所以需要设置nova的虚拟化为qemu，而不是kvm

解决方案：

$ mkdir -pv /etc/kolla/config/nova

$ vi /etc/kolla/config/nova/nova-compute.conf
[libvirt]
virt_type=qemu
cpu_mode = none

2018年5月02日
思者苦旅

参考

1.kolla ansible deploy openstack
2使用Kolla-Ansible在CentOS 7单节点上部署OpenStack Pike
3.Kolla AIO deploy fail: Hostname has to resolve IP address ?
4.no test named 'equalto'
5.no-valid-host-was-found-there-are-not-enough-hosts-available
6.kolla-ansible多节点安装openstack
7.Nova-iscsid Container Fails to Start
8.virtual environment

最后编辑于：2019.01.06 21:22:51

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 204,684评论 6赞 478
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 87,143评论 2赞 381
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 151,214评论 0赞 337
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 54,788评论 1赞 277
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 63,796评论 5赞 368
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,665评论 1赞 281
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 38,027评论 3赞 399
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,679评论 0赞 258
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 41,346评论 1赞 299
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,664评论 2赞 321
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,766评论 1赞 331
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,412评论 4赞 321
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 39,015评论 3赞 307
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 29,974评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,203评论 1赞 260
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 45,073评论 2赞 350
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,501评论 2赞 343

CentOS7单节点部署OpenStack-Pike(使用kolla-ansible)

环境说明

系统服务配置

启动NTP

关闭libvirted服务器

关闭防火墙

修改主机名

安装docker

配置国内镜像源

重启Docker服务

检查镜像服务是否正常

安装和配置Kolla-Ansible

安装依赖

安装ansible

安装kolla-ansible

配置单节点清单文件（目前只有一个节点）

生成随机密码文件

修改全局配置

生成SSH Key，并授信本节点

配置Nova虚拟化类型

配置Kolla-Ansible的Docker选项

部署OpenStack

开始部署

生成环境变量设置脚本

如果想清理掉部署好的OpenStack，则执行如下命令

验证OpenStack

创建虚拟机

问题记录

1.如果在安装kolla-ansible时出现pip库版本冲突

2.prechecks时报错：Hostname has to resolve to IP address of api_interface

3.prechecks时报错：no test named 'equalto'

4.deploy时，总是提示某个端口被占用

5.deploy时报错 Please enable at least one backend when enabling Cinder

6.执行precheck时报错Cannot process volume group cinder-volumes

7.执行deploy报错：TASK [neutron : Checking if 'MountFlags' for docker service is set to 'shared']

8.执行deploy报错：iscsid: Can not bind IPC socket

9.创建VM报错：No valid host was found. There are not enough hosts available.

参考

推荐阅读更多精彩内容