2018-11-16

西湖大学超算中心使用

西湖大学超算平台的管理节点(任务提交)为:

<font color=#A52A2A>172.16.10.253</font> 端口号:<font color=#A52A2A>9527</font>

上传与下载节点为:

<font color=#A52A2A>172.16.10.101</font> 端口号:<font color=#A52A2A>9527</font>

<font color=#A52A2A>172.16.10.102</font> 端口号:<font color=#A52A2A>9527</font>

<font color=#A52A2A>172.16.10.103</font> 端口号:<font color=#A52A2A>9527</font>

  • 超算系统采用SSH方式等登录,不支持Telnet和WEB等方式登录,默认编码为英文UTF-8(en_US.UTF-8),用户需使用支持SSH协议的客户端进行登录。

  • 超算系统仅限校内IP登录.

  • 超算用户在计算成果产生后的相关论文等中有义务致谢说明:

<font color=#A52A2A>中文:“本论文的数值计算得到了西湖大学信息技术中心的计算支持和帮助”。</font>

<font color=#A52A2A>英文:“The numerical calculations in this paper have been done on the supercomputing system in the Information Technology Center of Westlake University”</font>

01-Secure Shell (SSH)

ssh是远程的加密连接协议,可以用来登陆服务器,进行提交作业,上传下载文件等操作。相关工具有Xshell,FinalShell,Putty,Terminals等。我会基于Xshell工具向大家展示相应的操作。

下载地址:

https://xshell.en.softonic.com/

安装好后界面如下:

输入你的地址与账号密码:

进入命令行界面:

你所有的操作都可以通过输入命令的形式实现。

02-常用命令

  • 01- ls 命令

List 的缩写,通过 ls 命令不仅可以查看 linux 文件夹包含的文件,而且可以查看文件权限(包括目录、文件夹、文件权限)查看目录信息等等。

实例:

$ ls

$ ls -a

$ ls -l </font>

$ ls -l t* </font>

  • 02 - cd 命令

ChangeDirectory 的缩写,切换当前目录至 dirname。

实例:

$ cd /

$ cd ~

$ cd -

  • 03 - pwd 命令

Print working directory 的缩写,查看当前工作目录路径。

实例:

$ pwd

$ pwd -P

  • 04 - mkdir 命令

Make Directory 的缩写,创建文件夹。

实例:

$ mkdir abc

$ mkdir -p /aaa/bbb/ccc/ddd

  • 05 - rm 命令

Remove 的缩写,删除文件或目录。

实例:

$ rm -rf *

$ rm abc.txt

$ rm -r aaa

  • 06 - rmdir 命令

Remove Directory 的缩写, 从一个目录中删除一个或多个子目录项,删除某目录时也必须具有对其父目录的写权限。

实例:

$ rmdir -p aaa/bbb/ccc

  • 07 - mv 命令

Move 的缩写,移动文件或修改文件名,根据第二参数类型(如目录,则移动文件;如为文件则重命令该文件)。

实例:

$ mv abc.log abc1.txt #将文件abc.log重命名为abc1.txt</font>

$ mv -i log1.txt log2.txt

  • 08 - cp 命令

Copy 的缩写,将源文件复制至目标文件,或将多个源文件复制至目标目录。

实例:

$ cp -ai a.txt test

  • 09 - df 命令

Disk free 的缩写,用于显示目前在Linux系统上的文件系统的磁盘使用情况统计。

实例:

$ df -l

  • 10 - du 命令

Disk use 的缩写,对文件和目录磁盘使用的空间的查看。

实例:

$ du -h

  • 11 - top 命令

显示当前系统正在执行的进程的相关信息,包括进程ID、内存占用率、CPU占用率等。(Q键可以退出)

实例:

$ top

  • 12 - kill 命令

强制结束进程,使用ps命令或者jobs 命令可以查看进程号。

实例:

$ kill -9 (ps -ef | grep pro1)

03-文件上传与下载

这里我使用的是Xshell里面带的文件传输功能(需要安装Xftp软件)

Xftp下载地址:

https://dl.pconline.com.cn/download/61110.html

上传和下载文件可以直接在图形界面上拖拽即可。

04 - 提交任务

我们使用PBS(Portable Batch System),来分配计算机集群。

PBS(Portable Batch System)最初由NASA的Ames研究中心开发,主要为了提供一个能满足异构计算网络需要的软件包,用于灵活的批处理,特别是满足高性能计算的需要,如集群系统、超级计算机和大规模并行系统。PBS的主要特点有:代码开放,免费获取;支持批处理、交互式作业和串行、多种并行作业,如MPI、PVM、HPF、MPL;PBS是功能最为齐全, 历史最悠久, 支持最广泛的本地集群调度器之一。 PBS的目前包括openPBS, PBS Pro和Torque三个主要分支. 其中OpenPBS是最早的PBS系统, 目前已经没有太多后续开发,PBS pro是PBS的商业版本, 功能最为丰富. Torque是Clustering公司接过了OpenPBS, 并给与后续支持的一个开源版本.

利用好下面的三个步骤就可以简单进行单线程计算了。

实例:

  • 01 - 上传你的代码
  • 02 - 保存下面的代码以 .sh后缀的文件(例:test.sh),并于上面你的代码放在一个目录下

#$ -S /bin/sh

#$ -cwd

#$ -o /backup/home/wangliang/joblogs ## 换成自己的目录

#$ -e /backup/home/wangliang/joblogs ##换成自己的目录

#$ -j y

#$ -N py-try ## 自己可读的命名

#$ -q normal.q

#$ -pe mpi 1-1 ## 计算机核数,我的代码并没有并行运算,所以核数为1

export PYTHONHOME=/usr/local/Python3.6.1 # python3.6的根目录

export PATH=$PYTHONHOME/bin:$ PATH  # 路径加入

export LD_LIBRARY_PATH=$PYTHONHOME/lib:$ LD_LIBRARY_PATH 

$ python3 00-try.py ## 运行代码

  • 03 - 在终端输入命令进行操作

<font color=#06EB00>$ qsub test.sh </font>

<font color=#06EB00>$ qdeltest.sh </font>

<font color=#06EB00>$ qstat </font>

<font color=#06EB00>$ quota </font>

结语

我也只是个小白,如果以前没有提交服务器的经验,有可能有点帮助,对于大神,只是班门弄斧,希望能帮助到大家。

好像matlab, Python3等还没有实装,只好自己安装在自己目录下了!

后续的并行等我搞清楚python并行再说。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,128评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,316评论 3 388
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,737评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,283评论 1 287
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,384评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,458评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,467评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,251评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,688评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,980评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,155评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,818评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,492评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,142评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,382评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,020评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,044评论 2 352

推荐阅读更多精彩内容