在代码里得到 k8s 容器 cpu 使用情况

[TOC]

概述

最近公司的容器出了一些新问题，cpu 资源不够了
因为没有什么好的监控手段可以知道每个 微服务 的CPU 使用情况 ，
(虽然k8s 自己有提供，但是只有15分钟，这个数据无法用来分析)
所以想在代码里写一些 定时任务 来获取这些数据，然后保存到数据库里，然后再分析

where

那么怎么 拿到 CPU 使用情况 呢？

k8s 有一个 api-server 提供了很多 restful api 来供使用
所以我们要找到这个接口

host

请求一个接口，我们知道首先要有 ip 或者是 域名，统称为 host
那么 k8s 的 api-server 的 host 是什么呢？
（注意：我这里想拿到的是集群内网 host，因为代码所在的容器会放到集群里面运行）

两种思路

到master 执行命令

[root@iZwz9hb8srmhxf7xkfdtgqZ ~]# kubectl config view |grep server|cut -f 2- -d ":" | tr -d " "
https://172.16.4.4:6443

如果是阿里云的话
直接到控制台查看集群基本信息

API Server

权限

我们得到了一个 host, 赶紧试一下，看下对不对
找了一个接口 /api/v1/namespaces/default/pods 看下 default 的这个命名空间下面，都有哪些 pod

[root@iZwz9hb8srmhxf7xkfdtgqZ ~]# curl https://172.16.4.4:6443/api/v1/namespaces/default/pods --insecure
{
  "kind": "Status",
  "apiVersion": "v1",
  "metadata": {

  },
  "status": "Failure",
  "message": "pods is forbidden: User \"system:anonymous\" cannot list resource \"pods\" in API group \"\" in the namespace \"default\"",
  "reason": "Forbidden",
  "details": {
    "kind": "pods"
  },
  "code": 403

看到 Forbidden 应该是权限不够
然后开始了漫长的搜索，发现要用 Service account 和 RBAC
博客都说的贼复杂，讲的都是浅尝辄止
最后发现了
如何使用curl访问k8s的apiserver
讲的比较浅显易懂，原理也比较简单粗暴

APISERVER=$(kubectl config view |grep server|cut -f 2- -d ":" | tr -d " ")
TOKEN=$(kubectl describe secrets $(kubectl get secrets -n kube-system |grep admin |cut -f1 -d ' ') -n kube-system |grep -E '^token' |cut -f2 -d':'|tr -d '\t'|tr -d ' ')
curl -H "Authorization: Bearer $TOKEN" $APISERVER/api/v1/namespaces/default/pods  --insecure

done, 有输出

path

那么哪个接口可以拿到 CPU 使用情况 呢？
请求一个接口, 除了需要知道 host ,还需要 path
那么这个 path 是什么呢？

接口在这里官网
注意替换版本号

也可以在 master 节点执行 kubectl api-versions

[root@iZwz9hb8srmhxf7xkfdtgqZ ~]# kubectl api-versions
admissionregistration.k8s.io/v1alpha1
admissionregistration.k8s.io/v1beta1
alicloud.com/v1beta1
apiextensions.k8s.io/v1beta1
apiregistration.k8s.io/v1
apiregistration.k8s.io/v1beta1
apps/v1
apps/v1beta1
apps/v1beta2
authentication.istio.io/v1alpha1
authentication.k8s.io/v1
authentication.k8s.io/v1beta1
authorization.k8s.io/v1
authorization.k8s.io/v1beta1
autoscaling/v1
autoscaling/v2beta1
autoscaling/v2beta2
batch/v1
batch/v1beta1
certificates.k8s.io/v1beta1
certmanager.k8s.io/v1alpha1
config.istio.io/v1alpha2
coordination.k8s.io/v1beta1
events.k8s.io/v1beta1
extensions/v1beta1
log.alibabacloud.com/v1alpha1
metrics.k8s.io/v1beta1
monitoring.kiali.io/v1alpha1
networking.istio.io/v1alpha3
networking.k8s.io/v1
policy/v1beta1
rbac.authorization.k8s.io/v1
rbac.authorization.k8s.io/v1beta1
rbac.istio.io/v1alpha1
scheduling.k8s.io/v1beta1
storage.k8s.io/v1
storage.k8s.io/v1beta1
v1

日常使用过程中，我们知道 kubectl top pod 可以输出 CPU 使用情况

[root@iZwz9hb8srmhxf7xkfdtgqZ ~]# kubectl top pod
NAME                    CPU(cores)   MEMORY(bytes)
goman-6d6dfcd6c-bxm5h   0m           8Mi

那么哪个接口对应 top 的功能呢？
去官网api文档搜索，没有什么结果
网上搜了一遍，也没有人分享过

于是灵机一动，在 windows 上安装一个 kubectl, 配置好之后，进行抓包

wireshark

发现数据被 tls 加密了

看到配置文件配置的地址是 https 开头的，于是改成 http
执行直接报错

>kubectl.exe  top pods
Unable to connect to the server: net/http: HTTP/1.x transport connection broken: malformed HTTP response "\x15\x03\x01\x00\x02\x02"

那么再上 Profixier 拦截数据看下，没成功，可能是我配置的不对，算了~~~

然后去 github
看下 kubectl top pod 的实现，跟了一下代码，发现接口是在 metrics-server 里实现的，这个工程的代码跟了下，有点费劲，看不懂~~

然后就是漫长的搜索
metrics
里面介绍有：

image.png

刚好这个 metrics-server 之前分析 kubectl top 源码的时候进去过
那么去看看有啥 api

image.png

到这个链接里的官方文档里瞅瞅

image.png

路径前缀是 /apis/metrics.k8s.io/

回到刚刚的 metrics-server

image.png

还有个链接，进去看看

image.png

好像有戏

All endpoints are GET endpoints, rooted at /apis/metrics/v1alpha1/. There won't be support for the other REST methods.

The list of supported endpoints:

/nodes - all node metrics; type []NodeMetrics
/nodes/{node} - metrics for a specified node; type NodeMetrics
/namespaces/{namespace}/pods - all pod metrics within namespace with support for all-namespaces; type []PodMetrics
/namespaces/{namespace}/pods/{pod} - metrics for a specified pod; type PodMetrics

不过这里的前缀是 /apis/metrics/v1alpha1/ ，和前面的不一样

目前前缀有

/apis/metrics.k8s.io/
/apis/metrics/v1alpha1/

然后 kubectl api-versions 输出里还有 metrics.k8s.io/v1beta1
所以前缀有

/apis/metrics.k8s.io/
/apis/metrics.k8s.io/v1beta1/
/apis/metrics/v1alpha1/

统一加上 /pods 后缀试试

curl -H "Authorization: Bearer $TOKEN" $APISERVER/apis/metrics.k8s.io/pods   --insecure
curl -H "Authorization: Bearer $TOKEN" $APISERVER/apis/metrics.k8s.io/v1beta1/pods   --insecure
curl -H "Authorization: Bearer $TOKEN" $APISERVER/apis/metrics/v1alpha1/pods   --insecure

执行一下，发现第二个有输出，其它都是 404

所以我们找到了前缀了 /apis/metrics.k8s.io/v1beta1/

结论

所以实际调用的接口有如下几个

/apis/metrics.k8s.io/v1beta1/pods           pod列表
/apis/metrics.k8s.io/v1beta1/namespaces/{namespace}/pods   同一个ns下的所有pod
/namespaces/{namespace}/pods/{pod}    具体的pod