Calico 网络

Calico 是一个纯三层的虚拟网络方案,Calico 为每个容器分配一个 IP,每个 host 都是 router,把不同 host 的容器连接起来。与 VxLAN 不同的是,Calico 不对数据包做额外封装,不需要 NAT 和端口映射,扩展性和性能都很好。

与其他容器网络方案相比,Calico 还有一大优势:network policy。用户可以动态定义 ACL 规则,控制进出容器的数据包,实现业务需求。

Calico 依赖 etcd 在不同主机间共享和交换信息,存储 Calico 网络状态。我们将在 host 192.168.56.101 上运行 etcd。

Calico 网络中的每个主机都需要运行 Calico 组件,提供容器 interface 管理、动态路由、动态 ACL、报告状态等功能。
实验环境如下图所示:


在 host 192.168.56.101 上运行如下命令启动 etcd:
etcd -listen-client-urls http://192.168.56.101:2379 -advertise-client-urls http://192.168.56.101:2379

修改 host1 和 host2 的 Docker daemon 配置文件 /etc/systemd/system/docker.service, 连接 etcd:
--cluster-store=etcd://192.168.56.101:2379


重启 Docker daemon。
systemctl daemon-reload
systemctl restart docker.service

部署 calico

下载 calicoctl:
wget -O /usr/local/bin/calicoctl https://github.com/projectcalico/calicoctl/releases/download/v1.0.2/calicoctl
chmod +x calicoctl

在 host1 和 host2 上启动 calico:
calicoctl node run
启动过程如下:


① 设置主机网络,例如 enable IP forwarding。
② 下载并启动 calico-node 容器,calico 会以容器的形式运行(与 weave 类似)。

③ 连接 etcd。
④ calico 启动成功。

创建 calico 网络

在 host1 或 host2 上执行如下命令创建 calico 网络 cal_ent1:
docker network create --driver calico --ipam-driver calico-ipam cal_net1

--driver calico 指定使用 calico 的 libnetwork CNM driver
--ipam-driver calico-ipam 指定使用 calico 的IPAM driver 管理 IP。
calico 为 global 网络,etcd 会将 cal_net 同步到所有主机。

Calico 的网络结构

在 host1 中运行容器 bbox1 并连接到 cal_net1:
docker container run --net cal_net1 --name bbox1 -tid busybox

查看 bbox1 的网络配置。


cali0 是 calico interface,分配的 IP 为 192.168.119.2。cali0 对应 host1 编号 11 的 interface cali5f744ac07f0

host1 将作为 router 负责转发目的地址为 bbox1 的数据包。

所有发送到 bbox1 的数据都会发给cali5f744ac07f0,因为 cali5f744ac07f0cali0 是一对veth pair,bbox1 能够接收到数据。
host1 网络结构如图所示:

接下来我们在 host2 中运行容器 bbox2,也连接到 cal_net1:
docker container run --net cal_net1 --name bbox2 -tid busybox
IP 为 192.168.183.65。


host2 添加了两条路由:


  1. 目的地址为 host1 容器 subnet 192.168.119.0/26 的路由。
  2. 目的地址为本地 bbox2 容器 192.168.183.65 的路由。

同样的,host1 也自动添加了到 192.168.183.64/26 的路由。


Calico 的连通性

测试一下 bbox1 与 bbox2 的连通性:


ping 成功,数据包流向如下图所示。

① 根据 bbox1 的路由表,将数据包从 cal0 发出。

② 数据经过 veth pair到达 host1,查看路由表,数据由 enp0s8 发给 host2(192.168.56.105)。
192.168.183.64/26 via 192.168.56.105 dev enp0s8 proto bird
③ host2 收到数据包,根据路由表发送给 calic8bf9e68397,进而通过veth pair cali0 到达 bbox2。
192.168.183.65 dev calic8bf9e68397 scope link

接下来我们看看不同 calico 网络之间的连通性。
创建 cal_net2
docker network create --driver calico --ipam-driver calico-ipam cal_net2
在 host1 中运行容器 bbox3,连接到cal_net2
docker container run --net cal_net2 --name bbox3 -tid busybox
calico 为 bbox3 分配了 IP 192.168.119.5。


验证 bbox1 与 bbox3 的连通性。

虽然 bbox1 和 bbox3 都位于 host1,而且都在一个 subnet 192.168.119.0/26,但它们属于不同的 calico 网络,默认不能通行。
calico 默认的 policy 规则是:
容器只能与同一个 calico 网络中的容器通信。
calico 的每个网络都有一个同名的 profile,profile 中定义了该网络的 policy。我们具体看一下 cal_net1 的 profile:
calicoctl get profile cal_net1 -o yaml

① 命名为cal_net1,这就是 calico 网络 cal_net1 的 profile。
② 为 profile 添加一个 tag cal_net1。注意,这个 tag 虽然也叫 cal_net1,其实可以随便设置,这跟上面的name: cal_net1 没有任何关系。此 tag 后面会用到。
egress 对从容器发出的数据包进行控制,当前没有任何限制。
ingress 对进入容器的数据包进行限制,当前设置是接收来自 tag cal_net1 的容器,根据第 ① 步设置我们知道,实际上就是只接收本网络的数据包,这也进一步解释了前面的实验结果。

定制 Calico Policy

Calico 能够让用户定义灵活的 policy 规则,精细化控制进出容器的流量,下面我们就来实践一个场景:

  1. 创建一个新的 calico 网络 cal_web 并部署一个 httpd 容器 web1。
  2. 定义 policy 允许 cal_net2 中的容器访问 web1 的 80 端口。
    首先创建 cal_web
    docker network create --driver calico --ipam-driver calico-ipam cal_web
    在 host1 中运行容器 web1,连接到 cal_web:
    docker container run --net cal_web --name web1 -d httpd
    web1 的 IP 为 192.168.119.7。

    目前 bbox3 还无法访问 web1 的 80 端口。

    创建 policy 文件 web.yml,内容为:

    profilecal_web 网络同名,cal_web 的所有容器(web1)都会应用此 profile 中的 policy。
    ingress 允许cal_net2 中的容器(bbox3)访问。
    ③ 只开放 80端口。
    应用该 policy。
    calicoctl apply -f web.yml
    现在 bbox3 已经能够访问 web1 的 http 服务了。

    不过 ping 还是不行,因为只放开了 80 端口。

    有关 calico policy 更多的配置,可参看官网文档

Calico 的 IP 池

calico 会为自动为网络分配 subnet,当然我们也可以定制。
首先定义一个 IP Pool,比如:

cat << EOF | calicoctl create -f -
- apiVersion: v1
 kind: ipPool
 metadata:
   cidr: 17.2.0.0/16
EOF

用此 IP Pool 创建 calico 网络。
docker network create --driver calico --ipam-driver calico-ipam --subnet=17.2.0.0/16 my_net

此时运行容器将分配到指定 subnet 中的 IP。


当然也可以通过--ip为容器指定 IP,但必须在 subnet 范围之内。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 219,869评论 6 508
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,716评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 166,223评论 0 357
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,047评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,089评论 6 395
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,839评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,516评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,410评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,920评论 1 319
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,052评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,179评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,868评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,522评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,070评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,186评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,487评论 3 375
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,162评论 2 356

推荐阅读更多精彩内容

  • 跨主机网络 跨主机网络方案包括:1、docker 原生的 overlay 和 macvlan。2、第三方方案:常用...
    阳一yayi阅读 1,963评论 0 5
  • Calico 为大规模集群以及云环境的节点提供了 end-to-end 的网络互联。为此,calico 需要一个物...
    IT农民阅读 2,582评论 0 2
  • 在公司的 K8s 平台上,碰到一个 node 访问不了 其他 node 上的 service,无论是通过 ip 还...
    Jeff阅读 3,586评论 0 0
  • 事情的起因是,为了生日宴的欢迎牌,要去拍一张全家福,大宝提出“妈妈,我可以拍一张我单独的照片吗?”……小心思显而易...
    多多gxy阅读 893评论 0 0
  • 在一个安静而平凡的下午,我捧起妈妈新买给我的书——《夏洛的网》,认真地朗读起来。 这本书主要讲述了主角小猪威尔伯和...
    点点圈阅读 553评论 1 1