准备虚拟环境 安装依赖 修改main.py 替换为如下内容

背景 最近在做大模型推理服务,其中要使用到rdma技术,这边简单记录一下rdma网络互通测试 互通测试 server side client s...

kube-state-metrics 监控k8s pod/pvc等资源的状态等信息 gpu使用情况 node-exporter 监控节点资源情况...

安装victoriametrics operator 创建vmcluster 创建demo workload 创建vm auth ingress...

如何修改envoy proxy的部署配置 默认envoyproxy的配置可能无法满足需求,比如envoyproxy deployment的rep...

安装 kubectl apply -f https://github.com/envoyproxy/gateway/releases/down...

背景 最近在做ai平台,用户在平台上订购一个pod,其中有一定的gpu等资源,但是可以让用户关机,一般的实现就是关机删除pod,开机创建pod,...

背景 最近在使用vllm部署llm推理服务,发现deepseek的推理结果也在content内不符合预期最终在vllm文档中发现需要修改启动参数...

背景 k8s cri使用docker时候,cadvisor采集的指标如container_fs_writes_total没有pod name和n...