背景
机器学习平台资源管理之前使用的是Mesos+Marathon，随着业务的发展，Mesos+Marathon已经不能满足我们的需求，所以需要使用K8s取代Mesos+Marathon。Alpha管理平台需要实现对K8s集群的操作。
Alpha管理平台基于Spring Boot开发，需要集成Fabric8来实现对K8s集群的操作。本文介绍两种Fabric8操作Kubernetes集群的方法，分别是【证书访问】和【kubeconfig访问】。不多说了，直接开始动手写代码。
POM依赖
<dependency>
<groupId>io.fabric8</groupId>
<artifactId>kubernetes-client</artifactId>
<version>4.2.0</version>
</dependency>
一、证书访问
1. 配置文件
要初始化Fabric8的KubernetesClient，需要4项配置，分别是：
- k8s.url：K8s集群地址
- k8s.client-crt：客户端CA证书
- k8s.client-key：客户端RSA私钥
- k8s.ca-crt：K8s集群CA证书
当然，配置项的名称可以自行定义，这里为了图省事，我就直接使用了kubelet的证书，从下面的配置可以看到，这些证书位于classpath:k8s目录下，即/src/main/resources/k8s。
配置文件位于/src/main/resources/application.properties
# k8s 配置
k8s.url=https://10.103.18.42:6443
k8s.client-crt=classpath:k8s/apiserver-kubelet-client.crt
k8s.client-key=classpath:k8s/apiserver-kubelet-client.key
k8s.ca-crt=classpath:k8s/ca.crt
2. 自动配置
通过Spring Boot的AutoConfiguration机制自动加载相关配置。
首先定义K8sProperties内部类，并通过@ConfigurationProperties("k8s")注解，指定要绑定的配置项。
从下面的代码可以看到，我将证书和key文件绑定为Resource对象，而不是绑定为String直接获取文件路径，是因为Spring Boot发布成jar包后，无法通过路径获取classpath下的自定义文件，而通过绑定为Resource则可以直接获取到InputStream从而读取文件内容。
import lombok.Data;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.boot.context.properties.EnableConfigurationProperties;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.core.io.Resource;
import java.util.Map;
@Configuration
@EnableConfigurationProperties(K8sConfig.K8sProperties.class)
public class K8sConfig {
/**
* K8s properties
*/
@Autowired
private K8sProperties k8sProperties;
@Data
@ConfigurationProperties("k8s")
public static class K8sProperties {
private String url;
// 注意用 Resource
@Value("client-crt")
private Resource clientCrt;
@Value("client-key")
private Resource clientKey;
@Value("ca-crt")
private Resource caCrt;
}
@Bean
public K8sUtils k8sUtils() {
if (k8sProperties == null) {
return null;
}
final String url = k8sProperties.getUrl();
if(StringUtils.isEmpty(url)){
return null;
}
return new K8sUtils(k8sProperties);
}
}
3. 初始化KubernetesClient
如果你发布Spring Boot项目不是使用jar包形式，建议你使用withXxxFile方法，传入文件绝对路径，让Fabric8自动读取证书和key文件。
否则建议你使用withXxxData方法，直接传入文件内容。
这里有两处需要特别注意：
-
读取到client-crt文件内容后，需要先用 Base64 加密，否则会提示:input null。通过简单分析Fabric8，是因为Fabric8会先将ClientCertData通过 Base64 解密。 - 此处需要显式地
通过.withNamespace(null)将Namespace设为null，因为Fabric8在初始化Config时，会默认从环境变量从读取当前Namespace，如果你的服务也部署在K8s集群内，就会提示：kubernetesclientexception: namespace mismatch.。
@Slf4j
public class K8sUtils {
private KubernetesClient client;
private Config config;
public K8sUtils(K8sConfig.K8sProperties k8sProperties){
try {
final String k8sUrl = k8sProperties.getUrl();
log.info("k8sUrl : {}", k8sUrl);
if(k8sUrl.startsWith(HTTPS_PREFIX)) {
final String caCrtData = IOUtils.toString(k8sProperties.getCaCrt().getInputStream());
final String clientKeyData = IOUtils.toString(k8sProperties.getClientKey().getInputStream());
// 注意：此处必须先用 Base64 对证书内容加密，否则会提示 input null
final String clientCrtData = Base64.getEncoder().encodeToString(IOUtils.toByteArray(k8sProperties.getClientCrt().getInputStream()));
log.info("caCrtFile data: {} ", caCrtData);
log.info("clientKeyFile data: {} ", clientKeyData);
log.info("clientCrtFile data: {} ", clientCrtData);
config = new ConfigBuilder().withMasterUrl(k8sUrl)
.withTrustCerts(true)
.withCaCertData(caCrtData)
.withClientCertData(clientCrtData)
.withClientKeyData(clientKeyData)
// 需将 Namespace 初始化为 null
.withNamespace(null)
.build();
}else {
config = new ConfigBuilder().withMasterUrl(k8sUrl).build();
}
client = new DefaultKubernetesClient(config);
}catch (Exception e){
client = null;
log.error("初始化 K8sUtils 失败！", e);
}
}
public KubernetesClient getClient() {
return client;
}
public Config getConfig(){
return config;
}
}
二、kubeconfig访问（推荐）
但有时候因为未知原因，使用证书访问时，在初始化KubernetesClient时会提示”java.io.IOException: PEM is invalid: no begin marker “，这个问题我在网上没有查到解决方案。
这时，就可以使用kubeconfig访问K8s集群。
kubeconfig文件默认路径是/etc/kubernetes/admin.conf
通过kubeconfig与通过证书访问基本相同，只是配置和初始化过程略有差异，具体修改如下文所示：
1.配置文件
与证书访问基本相同。
# k8s 配置
k8s.admin-conf=classpath:k8s/admin.conf
2. 自动化配置
@Data
@ConfigurationProperties("k8s")
public static class K8sProperties {
private String url;
@Value("admin-conf")
private Resource adminConf;
}
3. 初始化KubernetesClient
public K8sUtils(K8sConfig.K8sProperties k8sProperties){
try {
String adminConfData = IOUtils.toString(k8sProperties.getAdminConf().getInputStream());
config = Config.fromKubeconfig(adminConfData);
client = new DefaultKubernetesClient(config);
}catch (Exception e){
client = null;
log.error("初始化 K8sUtils 失败！", e);
}
}
