服务器集群管理系统SGE使用指南

集群和节点的概念:

集群(cluster)就是一组计算机,它们作为一个整体向用户提供一组网络资源。其中单个的计算机系统就是集群的节点(node)【即集群的基本单位是节点】。一个理想的集群是,用户从来不会意识到集群系统底层的节点,在他/她们看来,集群是一个系统,而非多个计算机系统。并且集群系统的管理员可以随意增加和删改集群系统的节点。

集群优越性:

使用集群起源于其良好的性能可扩展性(scalability)。提高cpu主频和总线带宽是最初提供计算机性能的主要手段。但是这一手段对系统性能的提供是有限的。接着人们通过增加CPU个数和内存容量来提高性能,于是出现了向量机,对称多处理机(SMP)等。但是当CPU的个数超过某一阈值,像SMP这些多处理机系统的可扩展性就变的极差。主要瓶颈在于CPU访问内存的带宽并不能随着CPU个数的增加而有效增长。因此,集群的优势显现出来了,集群系统的性能随着CPU个数的增加几乎是线性变化的。下图显示了这种情况:


其它优势:

    1. 高可用性:集群中的一个节点失效,它的任务可以传递给其他节点。可以有效防止单点失效。
    1. 高性能:负载平衡集群允许系统同时接入更多的用户。
    1. 高性价比:可以采用廉价的符合工业标准的硬件构造高性能的系统。

了解了集群和节点的概念后,就是使用了。
在服务器提交任务之前应养成看节点占用情况的习惯,然后将任务提交到free的节点,避免任务一直在队列中等待的情况,查看占用情况有下面两种方式。

我们首先使用SGE集群管理系统在登录节点【登录节点一般就是你登录的节点】投递任务,SGE接收到任务后会将任务储存至一个指定区域,随后将任务投递至一个计算节点运行,运行结束后将结果返回。这样我们我们在登录节点投递任务后,就可以关掉电脑做其他事,SGE会把我们的任务安排在计算节点里执行。

## 投递任务
qsub -cwd -l vf=*G,p=n,h=node -q bc_rd.q -P RNAProj -binding linear:2 *.sh

-cwd:在当前目录下执行任务,同时,SGE的运行日志也会输出在当前目录
-l:申请所需的资源。vf=*G设置任务预计使用的内存大小(一般设置的值要稍微大一些,负责容易让节点挂掉),p=n设置所需的CPU数[一个cpu核心数对应一个线程],h=node设置任务指定投递的节点名称。日常使用时,并不是每次都要设置这三个参数,大家可以根据自己的需要自行删减。
-q:指定任务要投递到队列名称。
-P: 指定将此作业分配给的项目。如果管理员向你及部分其他用户授予向特定项目提交作业的权限,那么需要增加这一参数。
-binding linear:2 #将作业绑定到处理器核心
*.sh:需要投递的任务,建议在脚本前加上完整路径。
输入这条命令,我们的任务就投递到服务器上啦!

任务投递成功后,我们可以使用"qstat "查询任务的状态。

## 查看任务状态
qstat
## 查看指定任务状态
qstat -j job-ID
## 删除任务
qdel job-ID
## 查看计算节点资源状况信息
qhost
image.png

job-ID:任务号

qstate:任务状态。一般会有以下情况,"qw"代表任务在等待执行状态,"r"代表任务正在执行,"s"代表任务暂时挂起,"dr"代表任务所在的计算节点挂了,需要联系管理员重启节点。任务还有其他状态,大家具体遇到时可以查询一下。

queue:任务所在的队列及计算节点。如图所示,代表任务被投递在了"rna"队列的“cu-0029"队列上。

qhost:使用该命令可以查看计算节点的资源状况,方便我们选择任务投递的队列和节点。

qdel :删除任务 qdel jobid #可同时删除多个,如qdel jobid1 jodid2
qdel -u username #删除某用户所有任务

qhold命令:挂起qw的任务 ,qhold jobid
qhold -u *

qrls jobid #恢复

qmod命令:挂起running中的任务, qmod -sj jobid
qmod -usj jobid #恢复

如果未提交到SGE系统,直接运行的命令用kill -STOP pid 挂起,用kill -CONT pid恢复。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,922评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,591评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,546评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,467评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,553评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,580评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,588评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,334评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,780评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,092评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,270评论 1 344
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,925评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,573评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,194评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,437评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,154评论 2 366
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,127评论 2 352

推荐阅读更多精彩内容