记 OpenShift 4 On vSphere IPI 安装流程

       从 OpenShift 4.5 开始,支持可以通过 IPI 方式部署 OpenShift 到 vSphere 环境。有了 IPI 之后,大大简化了用户的安装部署流程,用户只需要准备很少量的基础服务,就可以完成安装部署,而不像 UPI 那样需要我们准备各种基础服务例如 FTP,Haproxy 等。

下面总结本次安装过程以及遇到的问题

参考文档:https://docs.openshift.com/container-platform/4.5/installing/installing_vsphere/installing-vsphere-installer-provisioned.html

1. 环境准备

ESXi 6.5 、vCenter 6.5、DHCP、DNS(vSphere 7 经过测试也可以)

环境 datastore 要有至少 800G 的可用存储空间,推荐 1T。内存建议环境中有 72 G 可用内存。

关于硬件要求是根据已装好的环境得出,master 机器分配了 16G 内存, worker 分配 8G 内存。IPI 安装结束后,环境有 3 个 master 和 3 个 node。因此请保证环境中的内存可用量为 72G,每个vm都会被分配120G硬盘,并且分配方式为 “厚制备写零”(Thick provisioned, lazily zeroed),因此要保证安装成功至少要确保有 800G的可用磁盘空间

DHCP 服务,可以正常分配 IP 地址就行,不用做 TFTP

DNS:要保证可以解析以下记录

vcenter FQDN

API.<cluster_name>.<domain_name>

*.apps.<cluster_name>.<domain_name>

全程需要连接互联网

vSphere 的账户权限,必须满足以下要求


2. 开始安装

上面的准备工作做好之后,先装一个 Linux 的机器,本次用的是 RHEL 7,测试 DNS


看到解析都正常之后,下载 openshift-install 工具 和 pull-secret 文件

下载 openshift-install 工具

# wget https://mirror.openshift.com/pub/openshift-v4/clients/ocp/latest/openshift-install-linux.tar.gz


# tar xvf openshift-install-linux.tar.gz


通过 https://cloud.redhat.com/openshift/install/pull-secret 下载 pull-secret 文件


创建 ssh-key


启动 ssh agent,并把自己的 private key 放到里面去



下载 vCenter 的 CA 证书到你的环境


下载后解压缩,如果是 Linux 系统,请把 Lin 目录下的 ca 证书,复制到 /etc/pki/ca-trust/source/anchors/ 目录

执行命令,信任证书

准备完毕后,执行下面的命令,开始应答式安装过程

./openshift-install create cluster --dir ./logs --log-level=info

应答方式选择,

1. public key 位置

2. 安装的平台 vsphere

3. vcenter 的 FQDN,必须要写 FQDN,写 ip 会报证书错误

4. password 写 vcenter 的密码

5. Default Datastore:选择 vsphere 存储

6. VIP for API:写 api 的 vip

7. VIP for ingress 写 router 的 vip

8. Base domain:写 base domain,例如我环境是 ocp4.example.com,那么 base domain 就是 example.com

9. Cluster name:写 cluster name 例如我环境是 ocp4.example.com,那么 cluster name  就是 ocp4

10. pull secret 写 pull secret 完整内容,复制粘贴过来就好

命令执行后等待开始安装过程,如下图所示,开始下载 vsphere 用的 ova 模板

由于执行安装命令的 console 看不到任何的日志信息,我们可以再开一个 terminal 查看安装目录中 log 目录下的装配日志,如下图,此时可以看到正在导入 ova 镜像

审查安装日志的同时,在 vsphere 中也可以看到,模板下载完毕后会开始克隆虚拟机创建 bootstrap、 master 0 - 2

等待一会可以看到 bootstrap 和 control plane 的机器已经启动了

此时,可以 ssh 到 api 的 vip 上,在安装过程中 api 的 VIP 会在 bootstrap 这个机器上。

通过 ssh,登录到 bootstrap机器,可以查看 bootstrap 过程

Bootstrap 装配 master 完毕后,会自动删除,删除后 api 的 vip 会转移到一个 master node 上,如下图所示可以看到 bootstrap 已经被删除



由于执行安装命令的 console 看不到任何的日志信息,我们可以再开一个 terminal 查看安装目录中 log 目录下的装配日志,如下图

耐心等待就好,如果安装过程中出现下面的等待信息。请耐心等待,因为此时 worker node 应该刚刚装好,还不具备运行 Pod 的能力,需要等 worker node ready 之后,就可以正常继续了

当 worker node ready 之后,上一部卡住的 Pod 被正常调度后,可以看到日志就过去了

与 UPI不同的是,这种安装方式,无需人工 approve csr,会自动 approve,直接将 worker node 加入。等待安装完毕,可以再安装 log 中看到信息,也可以在执行安装明命令的 terminal 中看到,用户名和密码,以及 web console 等信息

安装完毕,检查状态,先获取变量

自行安装 oc 命令后,可以查看

本次遇到的问题总结

1. DNS 要保证所有 OCP 节点都能解析到 vcenter 的 FQDN 才行,否则会无法正常部署 worker node

2. 存储空间预留要充足,否则会装不上

3.整个过程网速很关键,大概用了 2.5 小时,如果各位有专线网络可能会更快或者等待 quay.io 在国内解析速度变快应该也会缩短时间

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 221,273评论 6 515
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 94,349评论 3 398
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 167,709评论 0 360
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,520评论 1 296
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,515评论 6 397
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 52,158评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,755评论 3 421
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,660评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 46,203评论 1 319
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,287评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,427评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 36,122评论 5 349
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,801评论 3 333
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,272评论 0 23
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,393评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,808评论 3 376
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,440评论 2 359