西湖大学超算中心使用
西湖大学超算平台的管理节点(任务提交)为:
<font color=#A52A2A>172.16.10.253</font> 端口号:<font color=#A52A2A>9527</font>
上传与下载节点为:
<font color=#A52A2A>172.16.10.101</font> 端口号:<font color=#A52A2A>9527</font>
<font color=#A52A2A>172.16.10.102</font> 端口号:<font color=#A52A2A>9527</font>
<font color=#A52A2A>172.16.10.103</font> 端口号:<font color=#A52A2A>9527</font>
超算系统采用SSH方式等登录,不支持Telnet和WEB等方式登录,默认编码为英文UTF-8(en_US.UTF-8),用户需使用支持SSH协议的客户端进行登录。
超算系统仅限校内IP登录.
超算用户在计算成果产生后的相关论文等中有义务致谢说明:
<font color=#A52A2A>中文:“本论文的数值计算得到了西湖大学信息技术中心的计算支持和帮助”。</font>
<font color=#A52A2A>英文:“The numerical calculations in this paper have been done on the supercomputing system in the Information Technology Center of Westlake University”</font>
01-Secure Shell (SSH)
ssh是远程的加密连接协议,可以用来登陆服务器,进行提交作业,上传下载文件等操作。相关工具有Xshell,FinalShell,Putty,Terminals等。我会基于Xshell工具向大家展示相应的操作。
下载地址:
安装好后界面如下:
输入你的地址与账号密码:
进入命令行界面:
你所有的操作都可以通过输入命令的形式实现。
02-常用命令
- 01- ls 命令
List 的缩写,通过 ls 命令不仅可以查看 linux 文件夹包含的文件,而且可以查看文件权限(包括目录、文件夹、文件权限)查看目录信息等等。
实例:
$ ls
$ ls -a
$ ls -l </font>
$ ls -l t* </font>
- 02 - cd 命令
ChangeDirectory 的缩写,切换当前目录至 dirname。
实例:
$ cd /
$ cd ~
$ cd -
- 03 - pwd 命令
Print working directory 的缩写,查看当前工作目录路径。
实例:
$ pwd
$ pwd -P
- 04 - mkdir 命令
Make Directory 的缩写,创建文件夹。
实例:
$ mkdir abc
$ mkdir -p /aaa/bbb/ccc/ddd
- 05 - rm 命令
Remove 的缩写,删除文件或目录。
实例:
$ rm -rf *
$ rm abc.txt
$ rm -r aaa
- 06 - rmdir 命令
Remove Directory 的缩写, 从一个目录中删除一个或多个子目录项,删除某目录时也必须具有对其父目录的写权限。
实例:
$ rmdir -p aaa/bbb/ccc
- 07 - mv 命令
Move 的缩写,移动文件或修改文件名,根据第二参数类型(如目录,则移动文件;如为文件则重命令该文件)。
实例:
$ mv abc.log abc1.txt #将文件abc.log重命名为abc1.txt</font>
$ mv -i log1.txt log2.txt
- 08 - cp 命令
Copy 的缩写,将源文件复制至目标文件,或将多个源文件复制至目标目录。
实例:
$ cp -ai a.txt test
- 09 - df 命令
Disk free 的缩写,用于显示目前在Linux系统上的文件系统的磁盘使用情况统计。
实例:
$ df -l
- 10 - du 命令
Disk use 的缩写,对文件和目录磁盘使用的空间的查看。
实例:
$ du -h
- 11 - top 命令
显示当前系统正在执行的进程的相关信息,包括进程ID、内存占用率、CPU占用率等。(Q键可以退出)
实例:
$ top
- 12 - kill 命令
强制结束进程,使用ps命令或者jobs 命令可以查看进程号。
实例:
$ kill -9 (ps -ef | grep pro1)
03-文件上传与下载
这里我使用的是Xshell里面带的文件传输功能(需要安装Xftp软件)
Xftp下载地址:
上传和下载文件可以直接在图形界面上拖拽即可。
04 - 提交任务
我们使用PBS(Portable Batch System),来分配计算机集群。
PBS(Portable Batch System)最初由NASA的Ames研究中心开发,主要为了提供一个能满足异构计算网络需要的软件包,用于灵活的批处理,特别是满足高性能计算的需要,如集群系统、超级计算机和大规模并行系统。PBS的主要特点有:代码开放,免费获取;支持批处理、交互式作业和串行、多种并行作业,如MPI、PVM、HPF、MPL;PBS是功能最为齐全, 历史最悠久, 支持最广泛的本地集群调度器之一。 PBS的目前包括openPBS, PBS Pro和Torque三个主要分支. 其中OpenPBS是最早的PBS系统, 目前已经没有太多后续开发,PBS pro是PBS的商业版本, 功能最为丰富. Torque是Clustering公司接过了OpenPBS, 并给与后续支持的一个开源版本.
利用好下面的三个步骤就可以简单进行单线程计算了。
实例:
- 01 - 上传你的代码
- 02 - 保存下面的代码以 .sh后缀的文件(例:test.sh),并于上面你的代码放在一个目录下
#$ -S /bin/sh
#$ -cwd
#$ -o /backup/home/wangliang/joblogs ## 换成自己的目录
#$ -e /backup/home/wangliang/joblogs ##换成自己的目录
#$ -j y
#$ -N py-try ## 自己可读的命名
#$ -q normal.q
#$ -pe mpi 1-1 ## 计算机核数,我的代码并没有并行运算,所以核数为1
export PYTHONHOME=/usr/local/Python3.6.1 # python3.6的根目录
export PATH=$PYTHONHOME/bin:$ PATH # 路径加入
export LD_LIBRARY_PATH=$PYTHONHOME/lib:$ LD_LIBRARY_PATH
$ python3 00-try.py ## 运行代码
- 03 - 在终端输入命令进行操作
<font color=#06EB00>$ qsub test.sh </font>
<font color=#06EB00>$ qdeltest.sh </font>
<font color=#06EB00>$ qstat </font>
<font color=#06EB00>$ quota </font>
结语
我也只是个小白,如果以前没有提交服务器的经验,有可能有点帮助,对于大神,只是班门弄斧,希望能帮助到大家。
好像matlab, Python3等还没有实装,只好自己安装在自己目录下了!
后续的并行等我搞清楚python并行再说。