下载并安装virtualbox
virtualbox官网 https://www.virtualbox.org/wiki/Downloads
若是Linux版本（Ubuntu）下载二进制包到本地再使用sudo dpkg -i安装会出现如下错误
$ sudo dpkg -i virtualbox-7.0_7.0.12-159484_Ubuntu_focal_amd64.deb
(Reading database ... 232199 files and directories currently installed.)
Preparing to unpack virtualbox-7.0_7.0.12-159484_Ubuntu_focal_amd64.deb ...
Unpacking virtualbox-7.0 (7.0.12-159484~Ubuntu~focal) ...
dpkg: dependency problems prevent configuration of virtualbox-7.0:
virtualbox-7.0 depends on libqt5help5 (>= 5.9.0); however:
Package libqt5help5 is not installed.
virtualbox-7.0 depends on libqt5xml5 (>= 5.0.2); however:
Package libqt5xml5 is not installed.
dpkg: error processing package virtualbox-7.0 (--install):
dependency problems - leaving unconfigured
Processing triggers for systemd (245.4-4ubuntu3.20) ...
Processing triggers for gnome-menus (3.36.0-1ubuntu1) ...
Processing triggers for desktop-file-utils (0.24-1ubuntu3) ...
Processing triggers for mime-support (3.64ubuntu1) ...
Processing triggers for hicolor-icon-theme (0.17-2) ...
Processing triggers for shared-mime-info (1.15-1) ...
Errors were encountered while processing:
virtualbox-7.0
使用官方教程用apt-install安装更保险
下载镜像
需要iso格式的光盘
ubuntu https://ubuntu.com/download/server 注意下载的是光盘还是种子
新建虚拟机
点击新建开始创建一个虚拟机
选择内存和磁盘大小
有一点要记住的是kubernetes集群里的机器需要至少2个CPU
在新建的虚拟机是关闭的状态时，点击设置
选择存储，选择控制器下的光驱后，右边分配光驱选择第一TDR控制器主通道，点击右侧光盘选择选择虚拟盘，导入之前下载的ubuntu镜像iso
选择系统，修改启动顺序，去掉软驱，将硬盘移到光盘前，否则每次关机重启后，不会读取已经保存在硬盘上的文件，而是会重新加载光驱安装系统
如果分配的磁盘空间不够，安装会卡在挂载磁盘的那一步，一般4MB内存需要挂载8G磁盘
有时候会报错Failed unmounted /cdrom，这种情况有时候是安装的光盘自动弹出了，没有关系，有的时候需要操作一下，可能可行的操作包括：
手动弹出光盘再继续
关闭声音
- 设置系统
Install和Install completely后的udpate阶段都有可能比较慢，需要耐心等待
添加增强功能
增强功能可以帮我们添加自动缩放虚拟机屏幕，共享剪切板，共享文件夹，拖拽等功能
核心操作是安装VBoxGuestAdditions光盘
基本操作为关闭虚拟机 -> 在设置/存储中弹出控制器里的光盘 -> 启动虚拟机 -> 选择菜单中的安装增强功能
登录账号，首先为了防止光盘安装失败，需要先更新系统并安装一些library
sudo apt-get update -y
sudo apt-get upgrade -y
sudo apt-get update -y
sudo apt-get install -y gcc make perl
sudo apt-get install -y dkms build-essential linux-headers-generic linux-headers-$(username -r)
# username -r 获取当前Linux版本
如果是桌面版虚拟机，这时候要点击出现在桌面的光盘进行安装。
如果是命令行，要挂载对应的光盘，并使用root权限进行安装。
sudo su
mkdir -p /media/cdrom
mount /dev/cdrom /media/cdrom
cd /media/cdrom
sh VBoxLinuxAdditions.run
安装后记得重启再查看是否生效
sudo reboot
如果挂载不生效，我们可能想要把它卸载并重新安装，这时候可以使用命令
cd /opt/<VirtualBoxAdditions-x.x.xx>/
sudo ./uninstall.sh
如果插入光盘安装不生效，可以考虑直接下载library安装
sudo apt-get install virtualbox-guest-additions-iso
# 卸载
sudo apt remove virtualbox-guest-additions-iso && sudo apt autoremove
如果还功能没有自动生效，还要在虚拟机里额外安装一些library来启用功能
sudo apt-get install virtualbox-guest-utils # 据说通用功能都包括
sudo apt-get install virtualbox-guest-dkms # 屏幕缩放
sudo apt-get install virtualbox-guest-x11 # 剪切板和共享文件
但可能会遇到报错Unable to locate package virtualbox-guest-dkms
[2023-01-23 Update]
有些依赖装完后会导致原本无UI的ubuntu server版变成某种有蓝色桌面的UI界面，完全不知道该如何使用，只能重新来过
屏幕自动缩放
一开始的虚拟机屏幕显示是很小的，需要放大才能工作
大部分资料的说法都是成功安装VBox Guest Additions后窗口可以自动变换大小或者自定义像素比例，然而就算我的文件夹和剪切板都可以使用后，自动缩放屏幕仍然不能工作
有人说调整Display里的显卡和3D加速可以生效，但是我试了也都没有用
最后想到一个勉强能用的方法是改变窗口的百分比，就可以看得清了
共享剪切板
需要安装了VBox Guest Additions才能使用，在设置->常规->高级里打开双向剪切板和拖放
如果不生效，需要额外安装virtualbox-guest-x11
sudo apt-get install -y virtualbox-guest-x11
如果不生效可以尝试运行sudo /usr/bin/VBoxClient --clipboard
共享文件夹
共享文件夹也需要安装了VBox Guest Additions才能使用，也需要安装virtualbox-guest-x11
选择共享文件夹，填写挂载卷轴相关的信息
在虚拟机内sudo reboot后可以看到共享文件夹，注意文件夹的所有者为root
主机通过ssh连接虚拟机
增强功能硬盘安装不成功的情况下，使用virtualbox自己的窗口还是很难受的，所以想到能不能用其他ssh工具进入虚拟机工作
-
查看虚拟机的NAT网卡ip，防火墙是否开启22端口，是否安装ssh
NAT网卡ip
查看防火墙是否允许22端口的流量
sudo lsof -i -P -n | grep LISTEN
若没有22端口则
sudo ufw allow ssh
sudo ufw status verbose
是否安装ssh
sudo systemctl status ssh
若没有安装则
sudo apt install openssh-server
若没有启动则
sudo systemctl enable ssh --now
- 关闭虚拟机后，打开设置 -> 网络 -> 高级 -> 端口转发
- 配置转发端口
- 打开虚拟机后，使用
ssh -p 8022 <vm_username>@127.0.0.1访问虚拟机
本来其实想使用桥接网络，这样可以支持远程访问，但不成功
国内的博客更偏向使用桥接和Host-Only，国外的更偏向NAT
参考资料
How to SSH Into a VirtualBox Ubuntu Server
配置网络
配置两张网卡，网卡1选择NAT，用来让虚拟机访问外网；网卡2选择桥接网络，使虚拟机拥有和主机一样的网段，让局域网内的其他机器可以直接访问虚拟机
配置NAT网卡首先要新建一张NAT网卡
选择首页的工具，点击tab到NAT网络，点击新建
选择网络，网卡1选择NAT，选择刚才新建的NAT网卡
网卡2选择桥接网络，高级选项里混杂模式选择全部允许。此处的网卡名称需要填写主机上对应到局域网路由IP网段的网卡，可以通过在主机上执行ifconfig查看
将网卡关联到虚拟机后，我们需要在虚拟机中配置它们。可以通过配置桥接网卡为我们的虚拟机固定静态IP，这在搭建服务集群时常用
首先在虚拟机执行ifconfig，可以通过inet辨认出enp0s3为NAT网卡，enp0s8为桥接网卡
enp0s3: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 10.0.2.4 netmask 255.255.255.0 broadcast 10.0.2.255
inet6 fe80::a00:27ff:fe43:7d4e prefixlen 64 scopeid 0x20<link>
ether 08:00:27:43:7d:4e txqueuelen 1000 (Ethernet)
RX packets 44 bytes 13880 (13.8 KB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 53 bytes 8729 (8.7 KB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
enp0s8: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 192.168.8.247 netmask 255.255.255.0 broadcast 192.168.8.255
inet6 fe80::a00:27ff:fedf:9851 prefixlen 64 scopeid 0x20<link>
ether 08:00:27:df:98:51 txqueuelen 1000 (Ethernet)
RX packets 22598 bytes 2606276 (2.6 MB)
RX errors 0 dropped 54 overruns 0 frame 0
TX packets 48 bytes 3222 (3.2 KB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
device interrupt 16 base 0xd240
lo: flags=73<UP,LOOPBACK,RUNNING> mtu 65536
inet 127.0.0.1 netmask 255.0.0.0
inet6 ::1 prefixlen 128 scopeid 0x10<host>
loop txqueuelen 1000 (Local Loopback)
RX packets 0 bytes 0 (0.0 B)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 0 bytes 0 (0.0 B)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
根据虚拟机ip配置addresses和routes，此处相当于分给了虚拟机一个静态IP
*注意：addresses是一个列表
*注意：此处的addresses必须与宿主机处于同一网段，不然无法通信。如宿主机ip为192.168.8.106/23，则虚拟机ip设置为192.168.8.2/24可以正常通信，设置为192.168.9.2/24不可正常通信【掩码不同且主机IP不在虚拟机IP范围中】
network:
ethernets:
enp0s3:
dhcp4: true
enp0s8:
dhcp4: no
addresses:
- 192.168.8.247/24
routes:
- to: default
via: 192.168.8.1
nameservers:
addresses: [8.8.8.8,114.114.114.114]
version: 2
启用配置
sudo netplan apply
查看虚拟机ip
主机连接虚拟机
需要注意的是，进入虚拟机后必须要安装对应的网络工具才能查看本地ip，比如ubuntu必须要先运行apt install net-tools
关闭selinux （Ubuntu默认没有安装，可跳过）
sed -i 's/enforcing/disabled/' /etc/selinux/config # 永久
setenforce 0 # 临时
关闭swap
sed -ri 's/.*swap.*/#&/' /etc/fstab # 永久
swapoff -a # 临时
如果有需要，关闭防火墙
apt-get install iptables
ufw disable
sysctl --system
将桥接的IPv4流量传递到iptables的链
sudo touch /etc/sysctl.d/k8s.conf
sudo vim /etc/sysctl.d/k8s.conf
# 添加以下内容并保存
# net.bridge.bridge-nf-call-ip6tables = 1
# net.bridge.bridge-nf-call-iptables = 1
# net.ipv4.ip_forward = 1
按照计划的域名解析ip
sudo vim /etc/hosts
# 添加以下内容并保存
# 192.168.1.111 spinq-master
# 192.168.1.112 spinq-worker1
# 192.168.1.113 spinq-worker2
sudo vim /etc/hostname
# 将值改为本机计划的域名
# 或者直接运行命令行 sudo hostnamectl set-hostname kubernetes-master
生效
sysctl --system
配置后测试集群机器之间ssh能否连通，以及ping www.baidu.com能否成功（保证了可以从公网下载资源）
克隆虚拟机
克隆后记得要为每一台机器创建新的桥界网卡，并去/etc/netplan/00-installer-config.yaml修改静态IP
