linux | while + read 实现本地or集群批处理,实用且优雅

while condition
do
   statement code
   ....
   <condition change statement>
done

关键字:continue;break

  linux系统可以通过shell代码提供强大的批处理能力,想要实现批处理那自然不可避免地要用到循环,自然地就想到shell中常用的两种循环:forwhile。大部分情况下,这两种循环方式可以通用,但有些场景使用while更为简洁优雅。
  下面咱们就来说说while循环,回到文章开头,可以看到一个循环模板的范式,以while关键字标志开始,后面接着条件,do关键字的下一行开始为正真要执行的代码段,接着改变一下循环的初始条件,最后以done关键字结束标志。具体使用就是,通常情况下先定义循环的初始条件,然后将模板中的conditionstatement code<condition change statement>替换为真实有效的代码即可。
  下面咱们先从小学算术开始,来个简单的示例,感受一下while循环的常规用法。例如,计算1 - 100的加和:

sum=0
i=1

while [ $i -le 100 ]
do
    let sum=$sum+$i
    let i=$i+1
done
 
echo $sum

  这段代码实现了1 - 100的求和,首先定义循环初始条件i=1,然后将condition替换为[ $i -le 100 ] (意思即i <= 100时条件都成立,shell中的比较大小比较运算还有,-eq:等于;-ne:不等于;-gt:大于;-ge:大于等于;-lt:小于;),statement code替换为let sum=$sum+$i (将i的累加值赋值给变量sum),<condition change statement>替换为let i=$i+1 (每循环一次i值加1),最终循环一百次后得到总和。这种常规用法,一定要注意循环条件和每次循环后要修改初始条件,否则很容易出错和陷入死循环。
  做生信数据处理时,很少这么使用,配合read使用才更为丝滑,这样会将while循环变得跟for循环一样,无需考虑循环条件。下面来看看具体实例。
  最近分析了一批ChIP-seq的数据十多个样本,数据中都掺入了spike-in (之前写过一个帖子介绍关于spike-in的用途,感兴趣的戳这里[spike-in的那些事]),用来全局矫正富集信号。选定一个样本做为参考,得到其他样本的信号矫正因子,然后获得矫正后的信号文件bigwig

ls mapping_result
sample10.dedup.bam  sample12.dedup.bam  sample2.dedup.bam  sample4.dedup.bam  sample6.dedup.bam  sample8.dedup.bam
sample11.dedup.bam  sample1.dedup.bam   sample3.dedup.bam  sample5.dedup.bam  sample7.dedup.bam  sample9.dedup.bam

head -n3 sfactor.txt
sample1 1.0
sample2 0.59662
sample3 0.68959

  spike-in在样本中的掺入比例一致,测序后以一个样本spike-in的测序reads为参考,将其他样本的spike-in测序reads矫正到与参考一致,获得矫正因子,然后bam转换为bigwig时乘以因子来矫正信号。

#!/usr/bin/bash

if [ ! -d bam2bw ];then
   mkdir bam2bw
fi

cat sfactor.txt | while read sname sfactor
do
   bamCoverage -p 6 --scaleFactor $sfactor -b mapping_result/${sname}.dedup.bam -o bam2bw/${sname}.sfactor.bw
done

  while + read模式可以从文件或者标准输入读取内容,每次读取一行,循环的次数取决于内容的行数,无需设置循环条件。并且,read读行时可以根据分割符将内容赋值给不同变量,有对应关系的信息放在一行着实方便地很。
  当然,如果有集群可用,把上面循环内的命令替换为提交命令,即可使用服务器的并行能力大大缩短运行时间,下面以SGE为例:

#!/usr/bin/bash

if [ ! -d bam2bw ];then
   mkdir bam2bw
fi

cat sfactor.txt | while read sname sfactor
do
   echo bamCoverage -p 6 --scaleFactor $sfactor -b mapping_result/${sname}.dedup.bam -o bam2bw/${sname}.sfactor.bw | qsub -N $sname -e bam2bw/${sname}.sfactor.e -o bam2bw/${sname}.sfactor.o -cwd
done

  while循环还适合用于监控脚本,将condition替换为字符true,将会无限循环,这样可以一直在后台运行用来监控特定的程序。当然,也可以结合if判断语句和关键词continuebreak跳出一次循环或者整个循环。


往期回顾

pyscenic | 单细胞转录因子分析,原理图文详解
一网打尽scRNA矩阵格式读取和转化(h5 h5ad loom)
ggplot2 | 开发自己的画图函数
R包安装的4种姿势
clusterProfiler: No gene can be mapped | 怎么破?

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,125评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,293评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,054评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,077评论 1 291
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,096评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,062评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,988评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,817评论 0 273
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,266评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,486评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,646评论 1 347
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,375评论 5 342
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,974评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,621评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,796评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,642评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,538评论 2 352

推荐阅读更多精彩内容