一、基础硬件篇
某宝淘了台二手的dell r710服务器,支持双路CPU,18条内存槽,双路冗余电源,主要配置如下:
1.Xeon 5650 x2 共12核24线程
2.ECC DDR3 1333 8G x8
3.DELL PERC H700阵列卡
4.SAS 3t x1
4.570w 电源x1
5.iDrac6远程管理卡
二、硬件改造篇
服务器到手以后,进行了以下改造:
1.加了10条8g内存,这样子内存总计8x18=144g
2.加了两块pci-e的usb3.0 扩展卡
3.本来想着570w的电源够用了,没想到加了一块usb扩展卡,启动的时候就报供电不足,无法启动,于是某宝花100块淘了个870w的二手电源
4.加了3块西数4t的金盘,做raid5
5.加了一块120g的ssd做为esxi的缓存
6.加了块蓝宝石 amd firepro w4100专业显卡,选择这块显卡是因为这块显卡同时满足低功耗(50w)、4k@60p输出、刀卡(只占一个插槽)这几个要求,而且关键的是,esxi虚拟机直通显卡据说amd的比较容易。关于加装这块显卡,有必要大书特书一下。
首先r710板载是有两个pci-e x16的槽,但是机器到手的时候,默认是安装好了两块转接卡,官方说法是叫raiser card(服务器提升卡),其中raiser card1转出来三个x16的槽,一个槽上接的是h700阵列卡,我把一块usb3.0的扩展卡插在了另一个卡槽上。
而raiser card2是转出来两个x8的槽,暂时是闲置的,我就把主意打到了这个卡上。我首先尝试把这块卡拔下来,然后直接在空出来的pci-e x16的槽上插上w4100显卡,谁知道机器就直接无法启动了,然后我又尝试从某宝淘来x16转x16.的90度转接卡,同样也无法启动,所以我怀疑这个板载的x16槽,必须通过raiser card转接后才能使用。于是又仔细阅读了各种官方资料,发现dell官方除了提供有现在主板上接的这两种提升卡以外,其实还有一款提升卡,可以转出来一个x16的卡槽,这正是我想要的,谁知道找遍了整个淘宝,居然都无货。这下子完全没有办法了,但是我显卡都已经买了,也不能就这样闲置,又反复阅读张大妈上几篇折腾esxi直通显卡的帖子,终于在其中一篇看到一个思路,也就是把raiser card2的x8卡槽的一端锯开,然后强行插上x16的显卡。说干就干,立马从某东定了套迷你电磨,带三个超薄砂轮。电磨到手后,立马开工,谁知道因为没有经验,一上来就把卡槽的金手指磨坏了,直接就不能开机了,于是又立马从某宝一口气下单了6块raiser card2,好在这个卡二手的只要20多块钱,之所以买这么多,就是怕自己手艺太潮又给弄坏了,结果这一次居然非常顺利,一次就锯好了,插上显卡一次点亮!
三、基础软件平台篇
淘这台服务器的主要目的就是安装ESXI,并按安装各种虚拟机,所以首要任务就是安装ESXI。本着要新不晚旧的原则,首先安装ESXI 6.0的最新版本,安装过程很顺利,没什么好说的,只有一点需要注意,由于有阵列卡的存在,所有硬盘都必须先在阵列卡中配置好,在esxi中才能识别,并且ssd默认被识别为非ssd,这里需要用ssh客户端登录后收工修改为ssd模式,然后才能把ssd分配为缓存。
1.更新阵列卡及远程管理卡固件
1)阵列卡的更新需要通过ssh客户端登录到esxi主机,并在linux的命令行下进行。所以在esxi安装完成后,打开ssh服务,同时把从dell官网下载的h700阵列卡的最新固件上传到esxi的存储空间,修改文件属性为可执行,然后直接执行就可以完成固件升级了。
关于阵列卡固件的获得需要注意,在dell官网直接搜索阵列卡的型号,是找不到最新的固件的,而是要按照服务器的型号,比如poweredge r710,然后在相关下载页面点开sata raid部分,就可以看到h700等各种阵列卡的固件版本,同时选择操作系统为linux,就可以下载适用于esxi的固件更新程序了。
2)iDrac远程管理卡的固件更新比较简单,只要先在任意一台pc上下载好最新的固件,然后用浏览器登录远程管理的网页,在网页上打开固件更新的页面,就可以按照页面提示,上传固件并完成更新了。关于远程管理的页面,可以在开机时看到相应提示后,按CTRL+E,就可以进去远程管理卡的设置画面,主要就是设置ip和登录用户名和密码,以后就可以在任何时候无论开机还是关机状态(当然要保持通电),通过设定好的ip直接用浏览器访问了。
四、虚拟机篇
搞定了ESXI6之后,就可以安装各种虚拟机了,比如群晖,各种win,各种linux发行版本,我主要安装了群晖,win7 sp1,win10,ubuntu server,分别说明如下。
1.群晖,这个教程很多,就不用多说了,用虚拟机安装群晖的好处是,不用像物理机安装黑群晖还必须配一个u盘来运行引导程序,虚拟机直接把引导程序加载为虚拟光驱即可,另外虚拟机也可以方便的修改网卡的mac地址,来配合算号器。
2.win7,本来是打算装个win10,再直通独立显卡和键盘鼠标之后作为htp,然后考虑到win7比较容易激活,然后就可以直接升级win10并自动激活,于是就先安装了win7,谁知道这里是个大坑,建议要玩windows直通显卡的,最好直接安装win10。不过因为过程还是很有意义的,所以这里还是简单说一下要点:
1)不要图省事安装ghost版本,我试了两个ghist快速安装的版本,结果装完之后启动都找不到硬盘,最后还是老老实实下载了原版的iso进行安装;
2)安装显卡驱动时,最好手动安装纯驱动,不要直接安装完整驱动,否则很容易蓝屏;
3)建立windows虚拟机时,硬盘类型最好选择logic 并行,不要选vmware那个类型,会导致安装程序不认硬盘,并且选择scsi模式,不要选择ide,实测ide模式要比scsi模式慢很。
3.win10,和win7一样,不要用ghost安装,用纯净版的iso安装,但是硬盘要选logic sas模式,如果选logic 并行,反而会不认硬盘。另外win10直通显卡简单很多,连驱动都不用装,装完系统之后,直接就可以认了。
4.Ubuntu Server,关键是安装时语言要选英文,如果选中文会报错。