aspera下载SRA数据感想

最近学习了生信技能树的《Chip-seq测序数据分析》课程,在下载SRA数据的时候,卡壳了。搞了好几天。

按照曾老师B站中的说法,应该用sra-tools中的prefetch来下载,但是速度就像冬眠的蜗牛,纹丝不动!只好另择他径。

微信发给曾老师,提示需要用aspera来下载。搜了下面的两个帖子,

学员分享-aspera踩坑记录

https://cloud.tencent.com/developer/article/1665360

使用aspera从EBI下载fastq数据,抛弃NCBI的SRA数据库吧!

https://mp.weixin.qq.com/s/8xWl_DAYhFnLjdlg5ZcdIw

但真正正规的说明书在这里:

https://ena-docs.readthedocs.io/en/latest/retrieval/file-download.html#using-aspera

结合自己一点薄弱的Linux知识,愣是给搞下来了。

具体步骤如下:

首先创造了虚拟环境chipseq,所有的操作都是在其中进行。

利用conda安装aspera:

conda install -y -chcc aspera-cli #注意帖子里面空格缺乏,都是坑。

which ascp #找到ascp的位置


找到要下载的数据的BioProject;一般知道它的GEO accession和SRA number就可以从GEO和SRA网站上找到。通过下面这个网站进入https://www.ebi.ac.uk/ena/browser/home


图片1

在其中相应位置输入PRJNA156325,就可以找到自己想要的SRA数据。

注意show column selection的下拉菜单,其中要选中sra_ftp,(具体我也不知道ftp是个什么鬼,帖子里面还说用xftp传到自己的Linux系统中的操作目录中,我也不会,闷着头往前操作)。如果选择fastq_ftp,就可以看到gz格式的数据。传说fastq数据是SRA数据处理后得到的,也不知道,后面学到了再说吧。#这里的ftp地址很重要,我就是参照帖子里的下载方式,用这个地址改一下,然后下载的。

登录自己的腾讯云

PS: 这几天捣鼓了几下,学会了用阿里云app登录腾讯云,终于可以在手机上操作自己的腾讯云操作系统了,功夫不负有心人。

[root@VM-0-11-centos ~]#su xiangyukong

(base) [xiangyukong@VM-0-11-centos root]$ conda

deactivate #这里(base)是提示在base这个虚拟环境中,可以用conda deactivate退出这个操作环境,变成如下样子

[xiangyukong@VM-0-11-centos root]$ cd ~

[xiangyukong@VM-0-11-centos ~]$source activate

chipseq#继续操作,进入chipseq虚拟环境中。用conda

info --envs可以看到自己究竟有几个虚拟环境。

(chipseq) [xiangyukong@VM-0-11-centos ~]$

我的srr.list在~/projetc/epi/sra里面:下载正式开始:注意这里的"$id",很神奇哦。

(chipseq) [xiangyukong@VM-0-11-centos ~]$catsrr.list |while read id;

do

echo "ascp -k 1 -QT -l 300m -P33001 -i ~/miniconda3/envs/chipseq/etc/asperaweb_id_dsa.opensshera-fasp@fasp.sra.ebi.ac.uk:/vol1/srr/SRR391/"$id"~/project/epi/sra";

done>sra.download.sh

原来看着很迷糊,后来仔细一看,不就是while-do-done嘛。

后面的>sra.download.sh不知道是干啥的。

参考帖子里面的内容,执行了下面这句,据说是可以后台执行的。sra.download.log也不知道是干啥的。

nohup bash sra.download.sh>sra.download.log &

于是就下载成功了。


图片2,可以看到下载过程。

可以用top看到执行的程序,

用ps -ef | grep ascp看到执行的ascp程序。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,402评论 6 499
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,377评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,483评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,165评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,176评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,146评论 1 297
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,032评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,896评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,311评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,536评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,696评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,413评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,008评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,659评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,815评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,698评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,592评论 2 353

推荐阅读更多精彩内容