个人认为，ESOS是把TUI和CLI结合的用于实现SAN网络结构的用户友好平台工具，TUI只是辅助，有不少的bug或者准确说是疏漏和显示不完全，主要依赖的还是CLI
前期准备
在VMware Workstation 14.0上创建了一台Centos7.2的虚拟机，配置GNOME桌面环境，利用桌面环境直接设置静态ip地址，注意不要忘记dns设置。
1.命名规范：在虚拟机后加主机ip地址，防止其他虚拟机设置ip冲突（通过ping检测ip是否使用）
2.DNS可以填写8.8.8.8（国外）/114.114.114.114（国内）
ESOS的安装和启动
下载ESOS压缩文件：unzip解压，./install.sh安装，lsscsi查看scsi设备信息，网页控制台直接添加新硬盘作为USB Flash driver，在新硬盘上执行安装过程。
reboot后F2把对应硬盘设置为第一启动项，F10保存退出。
ESOS的配置
1.Enter同意协议，按's'选择System menu，找到Change Password更改root密码
2.Date & Time设置，System -> Date & Time Settings。同步脚本仅依靠时间戳来区别文件是否是新的；同时，也有助于跟踪事件时，日志条目的相关性。默认的timezone设置是Factory，time是24小时制的。设置NTP服务器是最简单的方式来保证时间是最新的。date/time在ESOS主机启动时通过NTP设置，通过cron任务周期更新同步。
3.TUI & CLI， TUI，text-based user interface就是类BIOS的文本操作界面，用ESC，ENTER，TAB，SPACE和方向键执行退出，选择，切换，确定和移动操作；CLI，Interface -> Exit to Shell，vi是ESOS上唯一的交互编辑器，Ctrl+D或者exit退出到TUI。注意，由于ESOS镜像整个是启动后加载到内存的，需要调用conf_sync.sh来同步配置内容到USB Flash driver。同时有一个cron任务频繁执行同步工作，但最好是shell下更改配置后手动调用conf_sync.sh。在使用TUI时，退出后会自动同步配置。
4.Networking，System -> Network Settings，选择对应的网卡接口，如果选择DHCP，其他栏ip，netmask，gateway置空即可；配置静态ip，选择static，填写信息。OK退出，会提示Restart Networking，如果没有就手动System -> Restart Networking。在SSH连接下重新配置网络时要注意，不然重启可能失去连接。在ESOS中，'/etc/hosts'会自动更新，当引用用户自定义配置时，create/edit the '/etc/xtra_hosts' file，格式就是标准的host文件格式(IP_ADDRESS NAME)。
5.Mail Setup，System -> Mail Setup，Alert Mail Address是接收方地址对应ssmtp.conf中的root，
注意点是发送时，不指定 'From:'，则默认的 'From:' 地址就是：你的当前用户名 @ rewriteDomain，ssmtp 会检索 /etc/passwd 获取你的全名，并显示在 'From:' 后（root用户即root@rewriteDomain）
TUI进行Mail Setup时无法指定From，在Sent Test Mail时就会报553 Mail from must equal authorized user即From和authuser没对上。这里处理办法就是：vi /etc/ssmtp/revaliases
把root映射到对应的From邮件地址上。本次实验中使用网易邮箱报554 DT:SPM垃圾邮件错误，更改为了qq邮箱，试验成功。注意，shell更改完配置后需要手动调用conf_sysc.sh，同步配置项。
6.Serial Console Access串口访问，ESOS支持通过串口接口访问控制台，对于GRUB和kernel信息，使用"COM1" (ttyS0)；对于ESOS shell，需要编辑'/etc/inittab'，add/uncomment a line for your serial device (eg, ttyS1). Then you need to make init re-read the file by performing this command:kill -HUP 1。
通过串口连接时TUI无法使用，只能使用shell。
7.Shutting Down & Rebooting，poweroff &reboot
ESOS高级配置
Kernel Modules，'/etc/modprobe.conf'配置内核模块参数，modinfo查询模块合法参数
Extra Configuration，/etc/pre-scst_xtra_conf & /etc/post-scst_xtra_conf两个配置文件分别对应SCST启动前后
InfiniBand Drivers，'/etc/infiniband/openib.conf' 配置文件控制哪些硬件驱动程序和IB模块加载，对应启动脚本/etc/rc.d/rc.openibd
InfiniBand Subnet Manager， The OpenSM IB subnet manager software is also included with ESOS. It is disabled by default, but can be enabled editing the /etc/rc.conf file and setting 'rc.opensm_enable' to 'YES'.
Enabling/Disabling System Services，一些ESOS的系统服务可以被启用或者禁用，一个典型的例子就是在单机ESOS系统上和在ESOS集群上使用DRBD，后者想要集群去管理DRBD资源的时候，就需要禁用'rc.drbd'，对应文件是'/etc/rc.conf'，也可以如下：
/etc/rc.d/rc.service_name [start | stop]
Customize System Service Options，就是编辑'/etc/rc.conf'
NIC Bonding，网络接口卡绑定，执行
echo +bond0 > /sys/class/net/bonding_masters
Be sure to use the naming format bondX for all NIC bonding interfaces!
然后可以TUI ，System -> Network Settings．
Ethernet Bridging，网络桥接
brctl addbr br0
Be sure to use the naming format brX for all bridge interfaces!
System -> Network Settings，选择IP setting (DHCP or static) and select the bridge member interfaces.
Ethernet Auto-negotiation (Speed/Duplex)，"ethtool options" in the TUI (System -> Network Settings):
autoneg off speed 100 duplex full（"ethtool -s" -- see the ethtool manual page for details.）
VLAN Support，To create a new VLAN interface on physical interface "eno1" for VLAN ID "5" use a command like this:
vconfig add eno1 5（图文并茂VLAN详解，让你看一遍就理解VLAN）
System -> Network Settings，select the IP setting (DHCP or static).
Hardware_RAID_Setup，在install ESOS环节中下载提示的RAID controller CLI tools然后安装，即可在TUI中调用。（虚拟机上没有HW RAID卡，无法进行）
Software_RAID_Setup
LVM_Configuration
TUI添加物理卷，LVM -> Add Physical Volume，报错。
改用pvcreate /dev/sdb，报错Device /dev/sdb not found (or ignored by filtering)
dd if=/dev/urandom of=/dev/sdb bs=512 count=64
pvcreate /dev/sdb
其中，dd if=/dev/urandom是提供永不为空的随机字节数据流，以上命令是把/dev/sdb覆盖分区块，也就是擦除分区。count=64指拷贝64个块；bs=512指块大小为512个字节。
pvdisplay查看物理卷
File_Systems_Configuration
后端存储文件系统：配置了后端存储块设备后，可以在上面搭建文件系统，这么做可以让用户在设备上使用SCST FILEIO模式。默认情况下SCST的导出模式是fileio。它允许使用文件系统上的文件或者块设备作为虚拟的SCSI设备或光驱，1）该模式可以充分利用linux的cache；2）允许在单个块设备上创建多个虚拟磁盘设备。(File Systems -> Add File System),之后会 提示挂载，在'/etc/fstab'可以查看或者df -TH。
虚拟磁盘文件：(File Systems -> Add VDisk File)
【scst】在SCSI目标驱动层和Linux内核层之间提供统一的、持久的接口，它尽可能地简化了目标驱动的开发。
Hosts_and_Initiators
Devices_and_Mappings
VMware vSphere中三种磁盘规格（厚置备延迟置零\厚置备置零\Thin Provision
Target_Configuration
pass
ALUA_Configuration
个人理解就是先创建device group设备组（这一步不需要指定设备），然后添加设备到设备组，同理创建Target group目标组（也不需要先指定Target，但要在上一步的设备组基础上创建），添加Target到目标组。
1、通过路径管理把SCSI上报的物理路径管理起来，对主机呈现一个虚拟的路径(SCSI设备)，这样可以防止主机在读写设备时带来的数据不一致问题。
2、基于IO策略选择物理路径，实现IO业务负载均衡和业务分担。
3、当主路径发生故障时，可以对IO进行透明的主从切换(FailOver)，当路径恢复后自动进行回切(FailBack)。
Advanced_Storage_Setup
注意：在*.res中设置节点名称时要填写完整的hostname+domainnamne（输入hostname可以查看），而不是单独的主机名或者域名；启动drbd服务需要edit the /etc/rc.conf file and set 'rc.drbd_enable' to "YES"，调用/etc/rc.d/rc.drbd start启用，查看状态使用cat /proc/drbd或者TUI System-> DRBD Status；mount要求磁盘分区是primary
Cluster_Configuration
High Availability (HA) / Clustering via the Pacemaker + Corosync Stack
高可用集群：以减少服务中断时间为目的的服务器集群技术。它通过保护用户的业务程序对外不间断提供的服务，把因软件、硬件、人为造成的故障对业务的影响降低到最小程度。
脑裂： 脑裂是因为集群分裂导致的，集群中有节点因为处理器忙或者其他原因暂时停止响应时，与其他节点间的心跳出现故障，但这些节点还处于active状态，其他节点可能误认为该节点"已死"，从而争夺共享资源（如共享存储）的访问权，分裂为两部分独立节点。
crm 删除资源，先crm resource stop 资源名，再crm configure delete 资源名。
corosync停止再次启动后，需要手动启动pacemaker，估计是同步关闭但不会同步开启。这步在/etc/corosync/corosync.conf可以配置
Building
Ubuntu 18.10（18.10的cosmic版本的国内源比较难找）下编译失败，查看/tmp/bootstrap.out也看不出问题，所以改回centos7.0编译成功（在更换国内源时直接wget下来的编码不是ASCII，yum clean all会提示error，自行下载后上传就可以了）
