前提介绍

在工作中配合压测同事对业务压测发现一些问题，使用NodePort做业务暴漏，压测的TPS周期性波动，看了网上的一些优化参数但是感觉没有太多改善（这里没有说参数没有作用，只是系统，内核版本，业务类型，都会影响到调优问题，所以没有过多放在这里测试）。这里主要看关于不同cni，在使用iptabls和ipvs是否都会有这个TPS抖动问题，本测试并不能代表严谨的测试结果，仅仅作为个人工作和学习中的记录，希望可以帮助到大家，和您的意见发生冲突时，您是对的。

测试仅仅个人环境搭建，没有说谁家的cni性能更好，所以这里没有看重性能，这里仅仅在探索一种技术特性所带来的现象。

基础环境及相关描述

• 3台主机(1master ,2 node)
• 配置相同
• kubeadm版本安装相同的k8s版本(本测试均为v1.22.0)
• 截图名称按照流量路径标注
• k8s主机均为设置调优参数

测试环境及结果

• centos7.6 3.10内核 calico iptabs

  
  
  node2_node1_pod.png
  
  
  node1_pod.png

• centos7.6 3.10内核 calico ipvs

  
  
  node1-node2-pod.png
  
  
  node2-pod.png

• centos7.6 5.13内核 calico iptabs

  
  
  node-2_node-1_pod.png
  
  
  node-1_pod.png

• centos7.6 5.13内核 calico ipvs

  
  
  node-1_node-2_pod.png
  
  
  node-1_pod.png

• centos7.6 5.13内核 fannel iptabs

  
  
  node-1_node-2_pod.png
  
  
  node-2_pod.png

• centos7.6 5.13内核 fannel ipvs

  
  
  node-1_node-2_pod.png
  
  
  node-2_pod.png

• centos7.6 5.13 cilium ipvs

  
  
  node-1_node-2_pod.png
  
  
  node-2_pod.png
  
  
  node-2_node-1_pod.png
  
  
  node-1_pod.png

总结

首先还是表明立场，仅仅个人学习使用和您的预期不一样，不用怀疑您是对的。
我最开始的想法就是ipvs肯定是好过iptables，但是观察发现，这种波动问题似乎他俩差不多。不管是calico，fannel，使用iptabs还是ipvs这种流量从其他主机到pod主机，都可以看到TPS的波动问题，而cilium这种epbf的网络，特别有意思，从其他主机nodeport到pod主机，TPS就很平稳，流量直接到pod主机的nodeport，TPS就抖动。我测试了多轮。但是这种ebpf个人感觉肯定是以后的王者，但是架构设计上，如果使用nodeport来，应该预留2个节点用于入口流量，不跑业务pod会比较理想。
两个外部文章
记一次Docker/Kubernetes上无法解释的连接超时原因探寻之旅 容器魔方
性能提升40%: 腾讯 TKE 用 eBPF绕过 conntrack 优化K8s Service 腾讯云原生

补充

后面的关于其他测试截图，比如vm信息，比如cluster的信息，比如如何查看kube-porxy是否开启了ipvs等等，我后面补充。

• 补充ipvs模块

# cat /etc/sysconfig/modules/ipvs.modules
#!/bin/bash
ipvs_modules="ip_vs ip_vs_lc ip_vs_wlc ip_vs_rr ip_vs_wrr ip_vs_lblc ip_vs_lblcr ip_vs_dh ip_vs_sh ip_vs_fo ip_vs_nq ip_vs_sed ip_vs_ftp nf_conntrack"
for kernel_module in ${ipvs_modules}; do
    /sbin/modinfo -F filename ${kernel_module} > /dev/null 2>&1
    if [ 130 -eq 0 ]; then
        /sbin/modprobe ${kernel_module}
    fi
done

lsmod_ipvs.png

• 补充kube-porxy开启ipvs

kubectl edit cm -n kube-system kube-proxy
mode: 'ipvs'

kubectl logs -f  kube-proxy-sfgd8  -n kube-system

cm_kube-proxy_ipvs.png

kube-proxy_log.png

• 补充测试用到的命令

kubectl create deployment --image=nginx
kubectl expose deployment nginx-web --port=80 --target-port=80 --type=NodePort
kubectl get pod -o wide
kubectl get svc