K8S 网络详解 1 DOCKER 网络基础

DOCKER 网络基础

网络命名空间(linux net namespace)

linux 内核支持(net namespace)以支持网络协议栈的多个实例。不同命名空间内的网络栈是完全隔离的。docker 使用 net namespace 进行网络层面的隔离。

每个网络堆栈中有一个独立的路由表，及独立的iptables 用来设置路由表。

网络命名空间中，包含，进程，套接字，网络设备等元素，所有元素都必须属于一个命名空间。

网络命名空间的实现——将网络协议栈的变量，放入到namespace中，成为namespace的私有变量，然后为协议栈的调用添加namespace参数。

命名空间的结构

image.png

在非默认命名空间创建时，指由lo 回环设备，且默认时停止的，其他设备都需要自己创建，这项工作在docker中有docker daemon来执行。

创建namespace的命令

ip netns add <ns-name>

在命名空间中执行命令

ip netns exec <ns-name> <command>

物理设备只能管理难道root 命名空间中，虚拟设备可以在命名空间中移动。

查看设备是否可以转移

# ethtool -k br0
netns-local: on [fixed]

每个设备都有一个netns-local（NETIF_F_LOCAL)属性，如果为on 表示不能转移

Veth 设备对

veth 设备对 用于不同命名空间之间的通信。

image.png

操作实践

添加两个namespace ns1 和 ns2

root@rancherk8sn1:~# ip netns add ns1
root@rancherk8sn1:~# ip netns add ns2
root@rancherk8sn1:~# ip netns
ns2
ns1

创建Veth设备对

root@rancherk8sn1:~# ip link add veth0 type veth peer name veth1
root@rancherk8sn1:~# ip link show
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP mode DEFAULT group default qlen 1000
    link/ether 00:0c:29:71:7d:82 brd ff:ff:ff:ff:ff:ff
3: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN mode DEFAULT group default
    link/ether 02:42:a1:e0:50:32 brd ff:ff:ff:ff:ff:ff
4: veth1@veth0: <BROADCAST,MULTICAST,M-DOWN> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether 2a:95:ac:e4:5f:56 brd ff:ff:ff:ff:ff:ff
5: veth0@veth1: <BROADCAST,MULTICAST,M-DOWN> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether ca:4c:69:0c:d1:76 brd ff:ff:ff:ff:ff:ff

将Veth1 移动到ns1 命名空间中, 可以看到veth1 已经看不到了

root@rancherk8sn1:~# ip link set veth1 netns ns1
root@rancherk8sn1:~# ip link show
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP mode DEFAULT group default qlen 1000
    link/ether 00:0c:29:71:7d:82 brd ff:ff:ff:ff:ff:ff
3: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN mode DEFAULT group default
    link/ether 02:42:a1:e0:50:32 brd ff:ff:ff:ff:ff:ff
5: veth0@if4: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether ca:4c:69:0c:d1:76 brd ff:ff:ff:ff:ff:ff link-netnsid 0

在ns1 中查看设备,可以看到veth1

root@rancherk8sn1:~# ip netns exec ns1 ip link show
1: lo: <LOOPBACK> mtu 65536 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
4: veth1@if5: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether 2a:95:ac:e4:5f:56 brd ff:ff:ff:ff:ff:ff link-netnsid 0

将 veth0 移动到 ns2

root@rancherk8sn1:~# ip link set veth0 netns ns2
root@rancherk8sn1:~# ip netns exec ns2 ip link show
1: lo: <LOOPBACK> mtu 65536 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
5: veth0@if4: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ether ca:4c:69:0c:d1:76 brd ff:ff:ff:ff:ff:ff link-netnsid 0

在docker中 veth对的设备被改名为eth0

给两个命名空间的的veth 对设备分配IP 地址

root@rancherk8sn1:~# ip netns exec ns2 ip addr add 10.1.1.5/24 dev veth0
root@rancherk8sn1:~# ip netns exec ns1 ip addr add 10.1.1.3/24 dev veth1
root@rancherk8sn1:~# ip netns exec ns1 ip link set dev veth1 up
root@rancherk8sn1:~# ip netns exec ns2 ip link set dev veth0 up

此时两个namespace之间就通了

root@rancherk8sn1:~# ip netns exec ns2 ip addr
1: lo: <LOOPBACK> mtu 65536 qdisc noop state DOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
5: veth0@if4: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether ca:4c:69:0c:d1:76 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 10.1.1.5/24 scope global veth0
       valid_lft forever preferred_lft forever
    inet6 fe80::c84c:69ff:fe0c:d176/64 scope link
       valid_lft forever preferred_lft forever

root@rancherk8sn1:~# ip netns exec ns1 ip addr
1: lo: <LOOPBACK> mtu 65536 qdisc noop state DOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
4: veth1@if5: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether 2a:95:ac:e4:5f:56 brd ff:ff:ff:ff:ff:ff link-netnsid 1
    inet 10.1.1.1/24 scope global veth1
       valid_lft forever preferred_lft forever
    inet 10.1.1.3/24 scope global secondary veth1
       valid_lft forever preferred_lft forever
    inet6 fe80::2895:acff:fee4:5f56/64 scope link
       valid_lft forever preferred_lft forever

root@rancherk8sn1:~# ip netns exec ns1 ping 10.1.1.5
PING 10.1.1.5 (10.1.1.5) 56(84) bytes of data.
64 bytes from 10.1.1.5: icmp_seq=1 ttl=64 time=0.017 ms
64 bytes from 10.1.1.5: icmp_seq=2 ttl=64 time=0.037 ms
64 bytes from 10.1.1.5: icmp_seq=3 ttl=64 time=0.038 ms
64 bytes from 10.1.1.5: icmp_seq=4 ttl=64 time=0.032 ms

Veth 如何查看对端

通过ethtool 查看对端

root@rancherk8sn1:~# ip netns exec ns1 ethtool -S veth1
NIC statistics:
     peer_ifindex: 5 # 查看对端序号

root@rancherk8sn1:~# ip netns exec ns2 ip link show | grep 5
1: lo: <LOOPBACK> mtu 65536 qdisc noop state DOWN mode DEFAULT group default qlen 1000
5: veth0@if4: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000
# veth0@if4 序号为5

网桥(bridge)

网桥是一个2层虚拟设备,把若干个网络接口连接起来,使之能够相互通信。网桥能够学习mac地址，存入自己的mac表中。linux内核支持支持网口桥接，与交换机不同的时候，交互及对于报文，要么转发，要么丢弃，而linux内核本事是一台主机，有可能消化报文，将报文发送到上层协议栈。所以linux网桥可以看做一个2层设备，也可以看做一个3层设备。

linux 网桥的实现

linux通过虚拟网桥设备(net device)来实现的,虚拟网桥可以绑定多个以太网接口设备.

image.png

网桥操作命令

brctl addbr br0 #添加网桥
brctl addif eth4 br0 #为网桥添加网口
ifconfig eth4 0.0.0.0 #网桥的物理卡作为一个网口,工作在链路层,不再需要IP
ifconfig br0 192.168.10.10 #给网桥配置IP

iptables 和netfilter

netfilter 负责在内核中执行各种挂接的规则,运行在内核模式中,iptables 运行在用户模式中,负责维护规则表.

image.png

netfilter的结构

image.png

docker 网络实现

docker 网络模式

  • host 模式 使用--net=host 指定, 使用host模式的容器可以直接使用docker host的IP地址与外界通信，容器内部的服务端口也可以使用宿主机的端口，不需要进行NAT，host最大的优势就是网络性能比较好，但是docker host上已经使用的端口就不能再用了，网络的隔离性不好。
  • container 模式: --net=container:NAME OR ID 指定, 这个模式在创建新的容器的时候指定容器的网络和一个已经存在的容器共享一个Network Namespace，但是并不为docker容器进行任何网络配置，这个docker容器没有网卡、IP、路由等信息，需要手动的去为docker容器添加网卡、配置IP等。
  • none 模式: 使用 --net=none 指定, 这种网络模式下容器只有lo回环网络，没有其他网卡。none网络可以在容器创建时通过--network=none来指定。这种类型的网络没有办法联网，封闭的网络能很好的保证容器的安全性。
  • bridge 模式: 使用--net = bridge 指定, 创建一个容器之后一个新的网络接口被挂载到了docker0上，这个就是容器创建时创建的虚拟网卡。bridge模式为容器创建独立的网络栈，保证容器内的进程使用独立的网络环境，使容器之间，容器和docker host之间实现网络隔离。
  • user-defined模式: 用户自定义模式主要可选的有三种网络驱动：bridge、overlay、macvlan。bridge驱动用于创建类似于前面提到的bridge网络；overlay和macvlan驱动用于创建跨主机的网络。

BRIDGE 模式的网络模型

docker daemon 启动是会创建docker0 网桥.

image.png

IP 1 的IP 地址默认为172.17.0.1/24 , IP 2 会会在IP1 的网段中选择一个没有使用的地址. ip3 为主机网卡地址

容器中的eth0 与 网桥上的ethX 为一对VETH 设备.

我们启动一个busybox 来看下docker 容器内的网络设置, eth0@if17 即为一个veth 设备

root@rancherk8sn1:~# docker run -it busybox
/ # ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
16: eth0@if17: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue
    link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0
       valid_lft forever preferred_lft forever

再看一下宿主机的网络设备

root@rancherk8sn1:~# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 00:0c:29:71:7d:82 brd ff:ff:ff:ff:ff:ff
    inet 192.168.10.14/24 brd 192.168.10.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fe71:7d82/64 scope link
       valid_lft forever preferred_lft forever
3: docker0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default
    link/ether 02:42:96:20:83:69 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0
       valid_lft forever preferred_lft forever
    inet6 fe80::42:96ff:fe20:8369/64 scope link
       valid_lft forever preferred_lft forever
17: vethdc57d12@if16: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master docker0 state UP group default
    link/ether 1a:26:a7:36:d4:60 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet6 fe80::1826:a7ff:fe36:d460/64 scope link
       valid_lft forever preferred_lft forever

root@rancherk8sn1:~# brctl show
bridge name     bridge id               STP enabled     interfaces
docker0         8000.024296208369       no              vethdc57d12

可以看docker0 为一个bridge 设备, vethdc57d12@if16 为一个veth 对的一端,挂在docker0 上.

启动busybox后看netfilter 内容(无端口映射)

root@rancherk8sn1:~# iptables-save
# Generated by iptables-save v1.6.1 on Mon Jul  8 06:46:13 2019
*nat
:PREROUTING ACCEPT [8:520]
:INPUT ACCEPT [8:520]
:OUTPUT ACCEPT [305:21540]
:POSTROUTING ACCEPT [305:21540]
:DOCKER - [0:0]
-A PREROUTING -m addrtype --dst-type LOCAL -j DOCKER
-A OUTPUT ! -d 127.0.0.0/8 -m addrtype --dst-type LOCAL -j DOCKER
-A POSTROUTING -s 172.17.0.0/16 ! -o docker0 -j MASQUERADE
-A DOCKER -i docker0 -j RETURN
COMMIT
# Completed on Mon Jul  8 06:46:13 2019
# Generated by iptables-save v1.6.1 on Mon Jul  8 06:46:13 2019
*filter
:INPUT ACCEPT [65604:236051607]
:FORWARD DROP [0:0]
:OUTPUT ACCEPT [59111:2530704]
:DOCKER - [0:0]
:DOCKER-ISOLATION-STAGE-1 - [0:0]
:DOCKER-ISOLATION-STAGE-2 - [0:0]
:DOCKER-USER - [0:0]
-A FORWARD -j DOCKER-USER
-A FORWARD -j DOCKER-ISOLATION-STAGE-1
-A FORWARD -o docker0 -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT
-A FORWARD -o docker0 -j DOCKER
-A FORWARD -i docker0 ! -o docker0 -j ACCEPT
-A FORWARD -i docker0 -o docker0 -j ACCEPT
-A DOCKER-ISOLATION-STAGE-1 -i docker0 ! -o docker0 -j DOCKER-ISOLATION-STAGE-2
-A DOCKER-ISOLATION-STAGE-1 -j RETURN
-A DOCKER-ISOLATION-STAGE-2 -o docker0 -j DROP
-A DOCKER-ISOLATION-STAGE-2 -j RETURN
-A DOCKER-USER -j RETURN
COMMIT

root@rancherk8sn1:~# ip route
default via 192.168.10.2 dev ens33 proto static
172.17.0.0/16 dev docker0 proto kernel scope link src 172.17.0.1
192.168.10.0/24 dev ens33 proto kernel scope link src 192.168.10.14

可以看到docker daemon 已经向 netfilter 写入了规则.

我们再来看一个有端口映射的例子

docker run -d -p 80:80 nginx

再次查看netfilter 表以及路由

root@rancherk8sn1:~# iptables-save
# Generated by iptables-save v1.6.1 on Mon Jul  8 07:04:16 2019
*nat
:PREROUTING ACCEPT [0:0]
:INPUT ACCEPT [0:0]
:OUTPUT ACCEPT [1:76]
:POSTROUTING ACCEPT [1:76]
:DOCKER - [0:0]
-A PREROUTING -m addrtype --dst-type LOCAL -j DOCKER
-A OUTPUT ! -d 127.0.0.0/8 -m addrtype --dst-type LOCAL -j DOCKER
-A POSTROUTING -s 172.17.0.0/16 ! -o docker0 -j MASQUERADE
-A POSTROUTING -s 172.17.0.2/32 -d 172.17.0.2/32 -p tcp -m tcp --dport 80 -j MASQUERADE
-A DOCKER -i docker0 -j RETURN
-A DOCKER ! -i docker0 -p tcp -m tcp --dport 80 -j DNAT --to-destination 172.17.0.2:80
COMMIT
# Completed on Mon Jul  8 07:04:16 2019
# Generated by iptables-save v1.6.1 on Mon Jul  8 07:04:16 2019
*filter
:INPUT ACCEPT [288:17512]
:FORWARD DROP [0:0]
:OUTPUT ACCEPT [212:20980]
:DOCKER - [0:0]
:DOCKER-ISOLATION-STAGE-1 - [0:0]
:DOCKER-ISOLATION-STAGE-2 - [0:0]
:DOCKER-USER - [0:0]
-A FORWARD -j DOCKER-USER
-A FORWARD -j DOCKER-ISOLATION-STAGE-1
-A FORWARD -o docker0 -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT
-A FORWARD -o docker0 -j DOCKER
-A FORWARD -i docker0 ! -o docker0 -j ACCEPT
-A FORWARD -i docker0 -o docker0 -j ACCEPT
-A DOCKER -d 172.17.0.2/32 ! -i docker0 -o docker0 -p tcp -m tcp --dport 80 -j ACCEPT
-A DOCKER-ISOLATION-STAGE-1 -i docker0 ! -o docker0 -j DOCKER-ISOLATION-STAGE-2
-A DOCKER-ISOLATION-STAGE-1 -j RETURN
-A DOCKER-ISOLATION-STAGE-2 -o docker0 -j DROP
-A DOCKER-ISOLATION-STAGE-2 -j RETURN
-A DOCKER-USER -j RETURN
COMMIT
# Completed on Mon Jul  8 07:04:16 2019
root@rancherk8sn1:~# ip route
default via 192.168.10.2 dev ens33 proto static
172.17.0.0/16 dev docker0 proto kernel scope link src 172.17.0.1
192.168.10.0/24 dev ens33 proto kernel scope link src 192.168.10.14

可以看到nat规则中添加了 -A POSTROUTING -s 172.17.0.2/32 -d 172.17.0.2/32 -p tcp -m tcp --dport 80 -j MASQUERADE 以及 -A DOCKER ! -i docker0 -p tcp -m tcp --dport 80 -j DNAT --to-destination 172.17.0.2:80 两条规则, 路由没有变化.

如果文章对您有帮助,请点一下下面的 "喜欢"

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 213,864评论 6赞 494
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 91,175评论 3赞 387
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 159,401评论 0赞 349
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 57,170评论 1赞 286
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 66,276评论 6赞 385
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 50,364评论 1赞 292
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 39,401评论 3赞 412
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 38,179评论 0赞 269
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 44,604评论 1赞 306
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,902评论 2赞 328
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,070评论 1赞 341
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 34,751评论 4赞 337
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 40,380评论 3赞 319
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,077评论 0赞 21
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,312评论 1赞 267
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 46,924评论 2赞 365
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 43,957评论 2赞 351