Snakemake搭建生信分析流程-简介

参考:
孟浩巍的知乎
zhn

Hello大家好!我们又见面了!

大家在学习生信分析的时候往往会遇到这样的问题,面对成百上千的样本,跑着同样的流程,如果使用Linux shell或者Python写个分析的pipeline吧,开发时间太长,不灵活,等下一次稍微改变一些参数,或者是要对已有流程进行修改的时候,往往就会又变成了和bug的一场恶战。我们今天就是要给大家介绍一下Snakemake,在Snakemake的帮助下,我们可以快速搭建生物信息学分析流程。

举个例子

我们都知道ATAC-seq是探索染色体开放程度的一项非常重要的技术,比如我们要分析ATAC-seq的数据(注:ATAC-seq的原理请移步 ATAC-seq - Wikipedia),根据ENCODE的建议,ATAT-seq数据分析往往会分成下面几个步骤:

1. raw FASTQ cut adapter
2. mapping to the reference with aligner like bowtie2
3. sort alignment result (BAM files)
4. remove BAM file duplications
5. peak-calling with MACS2

如果有50个样品需要跑这样重复的流程,使用shell去写循环提交任务当然可以。但是在提交的时候,我们需要考虑前后生成文件的逻辑,需要考虑整体使用的CPU核心数目,需要考虑如果任务从中间断掉之后怎么去恢复之前的文件状态。还需要考虑,如果生成的文件不完整怎么办等等。此外,除去这些问题,下次我们再跑一个ChIP-seq的数据,虽然也是类似的流程,就需要再次重新构建一个pipeline,费事费力。

那么这个时候就需要请出我们今天的主角——Snakemake!

什么是Snakemake?

Snakemake是一款基于Python3的软件,在它的帮助下,我们不但可以快速搭建流程,还可以实现包括并不限于下列功能的流程控制:

支持并行运算;
支持断点运行;
支持流程控制;
支持内存控制;
支持CPU核心控制;
支持运行时间控制;
支持向大型计算机集群提交任务;
…… …… 

同时,在Snakemake的帮助下,我们可以生成数据运行的网络拓扑图,就比如我们前文提到的ATAC-seq的数据分析。假设我们有2个重复的ATAC-seq的数据需要分析,那么使用Snakemake搭建出的流程就类似于:


Snakemake搭建流程示例

在运行的时候,我们还可以自动生成运行逻辑拓扑图,如下图所示:


Snakemake自动生成的运行逻辑图

国内第2个Snakemake教学视频

为了方便大家的学习,我们为大家录制了Snakemake教学视频。必须要强调的是,国内第1个Snakemake教学视频是2017年由四川大学生物防治实验室的周冉老师录制的(20171030-使用SnakeMake搭建高通量测序pipeline)我们这次重新录制主要是因为当时录制的时候,视频不是很清晰,有一些录制方面的问题。同时,当时的视频是以转录组分析为例子进行讲解的,我们这次是以ATAC-seq分析进行示范的。因此,两个视频配合使用,可以达到更好的效果。

本次Snakemake教学内容,还包括了对conda环境创建及使用的简单介绍。

本次Snakemake视频教学地址:

https://www.bilibili.com/video/av45832590

欢迎大家点赞,转发!

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,544评论 6 501
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,430评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,764评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,193评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,216评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,182评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,063评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,917评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,329评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,543评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,722评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,425评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,019评论 3 326
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,671评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,825评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,729评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,614评论 2 353