External net 创建问题处理

作者：Maxwell Li
日期：2017/01/13
未经作者允许，禁止转载本文任何内容。如需转载请留言。

问题发现

北京时间 1月 12日上午，王戊林在检查 CI 上 Functest 测试结果时发现，compass4nfv 部署的 OpenStack 没有创建外部网络，导致 Functest 测试失败。

问题定位

Step1 查看 ansible log

2017-01-11 02:16:03,996 p=24880 u=root |  TASK [ext-network : create external net] ***************************************
2017-01-11 02:16:04,023 p=24880 u=root |  skipping: [host1]
2017-01-11 02:16:04,028 p=24880 u=root |  skipping: [host2]
2017-01-11 02:16:04,037 p=24880 u=root |  skipping: [host3]
2017-01-11 02:16:04,040 p=24880 u=root |  TASK [ext-network : create external subnet] ************************************
2017-01-11 02:16:04,062 p=24880 u=root |  skipping: [host1]
2017-01-11 02:16:04,069 p=24880 u=root |  skipping: [host2]
2017-01-11 02:16:04,075 p=24880 u=root |  skipping: [host3]

原本应该在 host1 上执行的 create external net 和 create external subnet 两个 task 都直接被 skip 了。初步判断是 task 中的判断出了问题。立刻将 virtua-pod4 离线，进入环境定位问题。

Step2 查看对应 Playbook

- name: create external net 
  shell:
    . /opt/admin-openrc.sh;
    neutron net-create \
        {{ public_net_info.network }} \
        --provider:network_type {{ public_net_info.type }} \
        --provider:physical_network {{ public_net_info.provider_network }} \
        --router:external "True"
  when: public_net_info.enable == True
        and inventory_hostname == groups['controller'][0]

- name: create external subnet
  shell:
    . /opt/admin-openrc.sh;
    neutron subnet-create \
        --name {{ public_net_info.subnet }} \
        --gateway {{ public_net_info.external_gw }} \
        --disable-dhcp \
        --allocation-pool \
        start={{ public_net_info.floating_ip_start }},end={{ public_net_info.floating_ip_end }} \
        {{ public_net_info.network }} {{ public_net_info.floating_ip_cidr }}
  when: public_net_info.enable == True
        and inventory_hostname == groups['controller'][0]

猜测 when 的写法不合规范。然而令人困惑的时，本地测试时一切都正常，能够创建外部网络，并且部署成功后还能够拉起实例。而且黄翔宇也告诉我，他在 102 环境上和 104 环境上用同样的代码，也出现了这个问题。102 能够成功创建外部网络，而 104 却不可以。同样的代码，不同的环境会造成不同的结果，肯定是不能接受的。

Step3 对判断进行分析

分析 public_net_info.enable 的值，在 group_vars/all 中找到 public_net_info 变量：

'public_net_info': {'no_gateway': 'False', 'external_gw': '192.168.103.1', 'floating_ip_cidr': '192.168.103.0/24', 'network': 'ext-net', 'enable_dhcp': 'False', 'segment_id': 1000, 'subnet': 'ext-subnet', 'type': 'flat', 'enable': 'True', 'floating_ip_start': '192.168.103.223', 'floating_ip_end': '192.168.103.240', 'router': 'router-ext', 'provider_network': 'physnet'}

发现 public_net_info.enable 值为 ‘True’，是一个字符串。回到本地环境，在 group_vars/all 中找到 public_net_info 变量：

'public_net_info': {'no_gateway': False, 'external_gw': '192.168.116.1', 'floating_ip_cidr': '192.168.116.0/24', 'network': 'ext-net', 'enable_dhcp': False, 'segment_id': 1000, 'subnet': 'ext-subnet', 'type': 'flat', 'enable': True, 'floating_ip_start': '192.168.116.223', 'floating_ip_end': '192.168.116.240', 'router': 'router-ext', 'provider_network': 'physnet'}

本地环境中， public_net_info.enable 值为 True。group_vars/all 文件是生成的，为什么会造成如此差异。

Step4 追根溯源

public_net_info 是在 network.yml 文件中导入的。突然想起，本地部署为了方便，很早以前就写了一份 network.yml 放在代码外面，一直没有进行修改。而 CI 所采用的 network.yml 文件是在代码内部，当初进行 yaml 检视时，由于无法通过 yamllint，给所有的 True 和 False 都加上了双引号。

diff --git a/deploy/conf/vm_environment/huawei-virtual4/network.yml b/deploy/conf/vm_environment/huawe
index d787689..5a7f3d0 100644
--- a/deploy/conf/vm_environment/huawei-virtual4/network.yml
+++ b/deploy/conf/vm_environment/huawei-virtual4/network.yml
@@ -75,15 +76,15 @@ public_vip:
 
 onos_nic: eth2
 public_net_info:
-  enable: True
+  enable: "True"
   network: ext-net
   type: flat
   segment_id: 1000
   subnet: ext-subnet
   provider_network: physnet
   router: router-ext
-  enable_dhcp: False
-  no_gateway: False
+  enable_dhcp: "False"
+  no_gateway: "False"
   external_gw: "192.168.103.1"
   floating_ip_cidr: "192.168.103.0/24"
   floating_ip_start: "192.168.103.101"

Step5 提交 Patch，修复 Bug

diff --git a/deploy/adapters/ansible/roles/ext-network/tasks/main.yml b/deploy/adapters/ansible/roles/
index 0fc3ee3..d212dd9 100644
--- a/deploy/adapters/ansible/roles/ext-network/tasks/main.yml
+++ b/deploy/adapters/ansible/roles/ext-network/tasks/main.yml
@@ -29,7 +29,7 @@
         --provider:network_type {{ public_net_info.type }} \
         --provider:physical_network {{ public_net_info.provider_network }} \
         --router:external "True"
-  when: public_net_info.enable == True
+  when: public_net_info.enable == "True"
         and inventory_hostname == groups['controller'][0]
 
 - name: create external subnet
@@ -42,5 +42,5 @@
         --allocation-pool \
         start={{ public_net_info.floating_ip_start }},end={{ public_net_info.floating_ip_end }} \
         {{ public_net_info.network }} {{ public_net_info.floating_ip_cidr }}
-  when: public_net_info.enable == True
+  when: public_net_info.enable == "True"
         and inventory_hostname == groups['controller'][0]

修改后在本地进行测试和验证，然后提交 Patch。
Patch 地址：
FIX external net create

Bug 引入原因

CI verify 取消了 Functest 测试，无法对部署的 OpenStack 进行验证。
Yamllint test Patch 修改了 network.yml 文件，而本地一直在使用修改之前的 network.yml 文件进行验证。

问题反思

本地测试不能够证明什么，CI 测试尤为重要。
此 Bug 和之前的 Ceph user Bug 均由 Yamllint test Patch 引入。为了通过 Yamllint test，修改了大量的 yaml 文件，虽然可以算作是纯体力劳动，但越是这样的工作越需要细致，稍有不慎就会出错。

External net 创建问题处理