Linux 命令行和集群投递任务小技巧汇总 2023-08-29

背景

记录一下平时使用Linux命令行和集群投递任务的一些小技巧(包括.bashrc的配置),后续将不断补充。

  • 配置命令行的风格,可以根据自己的审美修改
#style
export PS1="\033[33;1m\]> <\u@\h \033[37;1m\]\A \033[36;1m\]\w \n ~ \[\e[37;1m\]$ \[\e[0m\]"
  • Linux命令行比较实用的操作

1、“ctrl + w” 删掉到空白前的字符
2、“ctrl + u” 删掉整行
3、“ctrl + a” 去到行首
4、“ctrl + e” 去到行末
5、“alt + backspace” 删除前一个字段

  • vim编辑器比较实用的操作

1、输入":set mouse=a"可以实现用鼠标选择光标的位置,但是不能使用右键复制了,需要使用”shift + fn +insert“粘贴,不同电脑可能存在差异。
2、“$”光标可以去到句尾,“0”可以去到句首,“gg”去到文首,“G”去到文末。

  • conda启动很慢,主要是.bashrc文件包含这些下面这些语句
# >>> conda initialize >>>
# !! Contents within this block are managed by 'conda init' !!
__conda_setup="$('~/software/Miniconda3/bin/conda' 'shell.bash' 'hook' 2> /dev/null)"
if [ $? -eq 0 ]; then
    eval "$__conda_setup"
else
    if [ -f "~/software/Miniconda3/etc/profile.d/conda.sh" ]; then
        . "~/software/Miniconda3/etc/profile.d/conda.sh"
    else
        export PATH="~/software/Miniconda3/bin:$PATH"
    fi
fi
unset __conda_setup
# <<< conda initialize <<<

解决方法有几种,conda需要的时候再激活就好,可以直接删掉这些语句,或者用"#"注释掉每一行,或用条件语句或函数封起来。

#设置激活快捷命令
alias spy='source ~/Miniconda/md/bin/activate pyscenic'
  • jobs查看后台任务加上-l可以看到任务号
alias jobs="jobs -l"
  • 查看任务状态用qstat -j 【任务号】出来一大堆,用一下三个脚本筛选
alias qe="sh qe.sh"
alias qd="sh qd.sh"
alias q1="sh q1.sh"

#qe.sh
for i in `qstat|awk '{if (NR > 2) {print $1}}' `;do qstat -j ${i}|grep -E 'job_number|script_file|hard resource_list|usage         1'|awk -F ": " '{printf ","$2}'|awk '{print}'|sed "s/ //g"|sed "s/g/G/g"|awk -F "," '{print $2"\t"$5"\t"$6"\t"$3","$4"\t"$9","$10}';done

#qd.sh
for i in `qstat|awk '{if (NR > 2) {print $1}}'`;do qstat -j ${i}|grep -E 'job_number|script_file|cwd'|awk -F " " '{printf $2 "\t\t"}'|awk '{print}';done

#q1.sh
i=$1
qstat -j ${i}|grep -E 'job_number|script_file|hard resource_list|usage         1'|awk -F ": " '{printf ","$2}'|awk '{print}'|sed "s/ //g"|sed "s/g/G/g"|awk -F "," '{print $2"\t"$5"\t"$6"\t"$3","$4"\t"$9","$10}'
qstat -j ${i}|grep -E 'script_file|cwd'|awk -F " " '{printf $2 "\t\t"}'|awk '{print}'

示例

 ~ $ qe
5166377 run.sh  cpu=26:41:39    virtual_free=150G,num_proc=4    vmem=59.563G,maxvmem=150.554G
5169599 run.sh  cpu=36:42:02    virtual_free=250G,num_proc=4    vmem=207.266G,maxvmem=513.677G
 ~ $ qd
5166377         ~/01.cortex           run.sh
5169599         ~/03.subpallium_right run.sh
 ~ $ q1 5166377
5166377 run.sh  cpu=26:51:33    virtual_free=150G,num_proc=4    vmem=59.564G,maxvmem=150.554G

~/01.cortex              run.sh
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 219,869评论 6 508
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,716评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 166,223评论 0 357
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,047评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,089评论 6 395
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,839评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,516评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,410评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,920评论 1 319
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,052评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,179评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,868评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,522评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,070评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,186评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,487评论 3 375
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,162评论 2 356

推荐阅读更多精彩内容