在k8s中部署kafka

Kafka 部署方式:用 Strimzi

原因:

在 K8s 上部署 Kafka 很成熟

listener / advertised listeners / NodePort / LoadBalancer 这些问题它处理得比较好

比自己手搓 StatefulSet + Service 风险小很多

Strimzi 帮你解决很多 Kafka on K8s 最麻烦的问题:

broker 部署、listener 配置、advertised listeners、Service 生成、broker rolling update、topic/user 管理(后续可选)

推荐:

直接自己写裸 Kafka Deployment/StatefulSet

继续沿用当前 Testcontainers 逻辑去“远程控制”K8s Kafka

1.创建 namespace

kubectl create namespace eventuate

如果已经存在会提示已存在,这没关系。

2. 安装 Strimzi Operator

Strimzi 需要先装 operator,之后你才可以通过 Kafka 自定义资源来声明 Kafka 集群。

可以执行:

kubectl create -f "https://strimzi.io/install/latest?namespace=eventuate" -n eventuate

然后检查 operator 是否起来:

kubectl get pods -n eventuate

你应该能看到类似:

strimzi-cluster-operator-...状态变成 Running

3. 使用kubectl apply命令根据文件kafka-dev.yaml定义集群。

https://gitlab.com/grand-world/grand-world-order-service/-/blob/order-and-customer/k8s/kafka-dev.yaml?ref_type=heads

等待 Kafka 集群就绪:

kubectl get svc,pods,kafka -n eventuate



internal listener 的用途:

集群内访问 Kafka

external listener 的用途:

本机调试 Kafka

从宿主机访问 Kafka

临时验证 topic / consumer group

当前没迁 K8s 的服务从集群外访问 Kafka


在集群内测试 bootstrap service 可达

可以起个临时 pod 测试 DNS:

kubectl run -n eventuate kafka-client --rm -it --image=busybox --restart=Never -- sh

进到里面后可以做最基础的 DNS 测试:

nslookup customers-orders-kafka-kafka-bootstrap

本店装docker desktop k8s无法直接连接,用如下方法:

kubectl port-forward -n eventuate svc/customers-orders-kafka-kafka-external-bootstrap 9094:9094

Docker Desktop Kubernetes 的 node InternalIP 常不可达,是因为它属于 Docker Desktop 的 VM 内部网络,不是 macOS 主机直连网段;开发时应优先用 port-forward,生产/长期方案则让服务尽量在集群内通过 K8s DNS 互联

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容