场景描述
image.png
linux上部署vxlan涉及两个部分：
- overlay网络配置
- vxlan隧道
overlay网络要支持随意配置且与主机网络隔离，vxlan隧道要使用本机IP地址作为vtep ip。
网络隔离显然要使用netns，当然我们也可以使用docker间接使用netns。
开始之前
- 内核vxlan module启用的端口设置为4789
cat /sys/module/vxlan/parameters/udp_port
rmmod vxlan && modprobe vxlan udp_port=4789
- 放通iptables
iptables -t filter -I FORWARD -j ACCEPT
vxlan组网的几种方案
以本地接口地址为192.12.34.2/24, overlay远端地址为10.1.1.14举例。
路由指向vxlan隧道（不推荐）
image.png
- 路由指向vxlan隧道
- 配置静态ARP作为内层目的MAC，进入隧道后直接封装vxlan报文转发
命令配置示例：
# S1: 配置overlay地址，IP地址配置到任意接口即可
ip addr add 192.12.34.2/24 dev lo
# S2: 创建vxlan隧道
ip link add vxlan_tunnel type vxlan id 67185 remote 10.29.46.21 local 10.22.0.47 dstport 4789 dev eth1
ip link set vxlan_tunnel up
ip link set dev vxlan_tunnel addr 00:12:34:56:78:90
# S3: 配置路由
ip route add 10.1.0.0/16 dev vxlan_tunnel
# S4: 配置静态ARP
ip neigh add 10.1.1.14 lladdr 1a:1b:1c:1d:1e:1f dev vxlan_tunnel
# ping
ping 10.1.1.14 -I192.12.34.2
方案缺陷
- 无法使用netns
- vxlan隧道必须绑定本地接口地址eth1，所以vxlan隧道不能使用netns
- overlay路由指向vxlan隧道，所以overlay地址必须跟vxlan隧道在同一个netns。既然vxlan隧道不能使用netns，那overlay地址也不能使用netns。
- 必须配置ARP明细
vxlan隧道内转发依靠静态ARP，所以目的IP都需要配置静态ARP。本例中10.1.0.0/16内所有的IP都要配置静态ARP，好在多个IP可以配置相同的mac地址，不会冲突# 多个IP可以配置相同的MAC地址 # ip neigh | grep 1a 10.1.1.14 dev vxlan_tunnel lladdr 1a:1b:1c:1d:1e:1f PERMANENT 10.1.1.15 dev vxlan_tunnel lladdr 1a:1b:1c:1d:1e:1f PERMANENT
二层桥接
image.png
linux通过veth和bridge连接两个netns。我们自然想到了桥接的方案。桥接方案的转发原理：
- overlay netns内配置overlay地址和overlay互联地址
- overlay netns内，路由指向overlay互联地址
- overlay互联地址通过bridge与vxlan隧道二层打通
命令配置示例：
## s1: create netns, network, net-vpc<id>
ip netns add net-vpc67185
ip netns exec net-vpc67185 ip link set dev lo up
## s2: create bridge, br-vpc<id>
ip link add br-vpc67185 type bridge
ip link set dev br-vpc67185 up
## s3: create vxlan and attach to bridge
ip link add vxlan-vpc67185 type vxlan id 67185 remote 10.29.46.21 local 10.22.0.47 dstport 4789 dev eth1
ip link set vxlan-vpc67185 up
brctl addif br-vpc67185 vxlan-vpc67185
## s4: create veth, and attach to bridge and netns
ip link add tap-vpc67185 type veth peer name veth-vpc67185
ip link set veth-vpc67185 master br-vpc67185
ip link set veth-vpc67185 up
ip link set tap-vpc67185 name eth0 netns net-vpc67185
ip netns exec net-vpc67185 ip link set eth0 up
## s5: set mac
ip netns exec net-vpc67185 ip link set dev eth0 addr 00:12:34:56:78:90
## s6: set secondary ip address
ip netns exec net-vpc67185 ip addr add 169.254.0.201/24 dev eth0
## s7: set arp
ip netns exec net-vpc67185 ip neigh add 169.254.0.200 lladdr 1a:1b:1c:1d:1e:1f dev eth0
## s8: set ip and route
ip netns exec net-vpc67185 ip addr add 192.12.34.2/24 dev eth0
ip netns exec net-vpc67185 ip route add 0.0.0.0/0 via 169.254.0.200 src 192.12.34.2
## ping
ip netns exec net-vpc67185 ping 10.1.1.14
二层桥接方案的优势
- 与主机网络空间隔离
- 主机netns下仅创建bridge和vxlan隧道。bridge和vxlan隧道都不需配置IP地址
- overlay地址和路由都在独立的netns下配置
- 仅需配置默认路由
- 示例中配置了overlay静态arp，实际上overlay arp可以自学习
- 只需配置一条默认路由即可
踩过的坑
- linux vxlan模块默认启用的端口不是4789
- iptables默认拦截了udp协议报文
- vxlan隧道dev错误的指向了eth0，且eth0未配置IP地址，此时虽然会封装vxlan报文，但是会直接请求远端vtep的ARP
