一、Aspera的下载和安装
1.1 软件下载目的
- 工欲善其事,必先利其器。对于NGS数据来说,传统的下载手段FTP或是迅雷等等,速度都有点感人,通常能达到几M的速度,就算非常不错了。
- 在这里我想大家推荐Aspera这款工具,他是由IBM推出的高速文件传输工具,在这里你可以体验到几十M甚至上百M的传输速度,使我们不会将整个一天都浪费在下载数据上面。
1.2 软件的下载和安装
wget https://download.asperasoft.com/download/sw/connect/3.6.2/aspera-connect-3.6.2.117442-linux-64.tar.gz
tar -zxvf aspera-connect-3.6.2.117442-linux-64.tar.gz
# 你会得到aspera-connect-3.6.2.117442-linux-64.sh这个文件
你会得到aspera-connect-3.6.2.117442-linux-64.sh这个文件。
ascp命令默认安装地址在:~/.aspera/connect/bin
[XXX@XXX prepare]$ ~/.aspera/connect/bin/ascp
Usage: ascp [OPTION] SRC... DEST
SRC to DEST, or multiple SRC to DEST dir
SRC, DEST format: [[user@]host:]PATH
Display full usage: -h,--help
软件已经安装成功✿✿ヽ(°▽°)ノ✿
二、SRA文件的下载
我们以PRJNA177791这个转录组项目为例进行介绍
2.1 SRA文件的路径特点
我们可以轻松得到此文件的下载路径为:
ftp://ftp.ncbi.nlm.nih.gov/sra/sra-instant/reads/ByRun/sra/SRR/SRR594/SRR594393/SRR594393.sra
我们可以非常容易的发现这个路径规律非常明显,只要我们有了SRR594393.sra的信息,我们就可以做出这样的路径来,这为我们批量下载数据提供了帮助。
2.2 生成SRA文件的下载list
编辑一个SRA文件的list,如下:
[XXX@XXX data_download]$ cat sra.list
/sra/sra-instant/reads/ByRun/sra/SRR/SRR594/SRR594393/SRR594393.sra
/sra/sra-instant/reads/ByRun/sra/SRR/SRR594/SRR594394/SRR594394.sra
/sra/sra-instant/reads/ByRun/sra/SRR/SRR594/SRR594396/SRR594396.sra
/sra/sra-instant/reads/ByRun/sra/SRR/SRR594/SRR594397/SRR594397.sra
/sra/sra-instant/reads/ByRun/sra/SRR/SRR594/SRR594398/SRR594398.sra
/sra/sra-instant/reads/ByRun/sra/SRR/SRR594/SRR594399/SRR594399.sra
/sra/sra-instant/reads/ByRun/sra/SRR/SRR594/SRR594400/SRR594400.sra
/sra/sra-instant/reads/ByRun/sra/SRR/SRR594/SRR594401/SRR594401.sra
/sra/sra-instant/reads/ByRun/sra/SRR/SRR594/SRR594402/SRR594402.sra
/sra/sra-instant/reads/ByRun/sra/SRR/SRR594/SRR594403/SRR594403.sra
/sra/sra-instant/reads/ByRun/sra/SRR/SRR594/SRR594404/SRR594404.sra
/sra/sra-instant/reads/ByRun/sra/SRR/SRR594/SRR594405/SRR594405.sra
/sra/sra-instant/reads/ByRun/sra/SRR/SRR594/SRR594406/SRR594406.sra
/sra/sra-instant/reads/ByRun/sra/SRR/SRR594/SRR594407/SRR594407.sra
/sra/sra-instant/reads/ByRun/sra/SRR/SRR594/SRR594408/SRR594408.sra
/sra/sra-instant/reads/ByRun/sra/SRR/SRR594/SRR594409/SRR594409.sra
2.3 下载命令
/home/admin/.aspera/connect/bin/ascp -T -i /home/admin/.aspera/connect/etc/asperaweb_id_dsa.openssh -k 1 -l 200m --mode recv --host ftp-private.ncbi.nlm.nih.gov --user anonftp --file-list ./sra.list ./
SRR594393.sra 100% 5652MB 39.2Mb/s 12:24
SRR594394.sra 100% 6518MB 75.5Mb/s 32:02
SRR594396.sra 100% 7205MB 70.9Mb/s 47:47
SRR594397.sra 100% 7134MB 77.7Mb/s 1:01:06
SRR594398.sra 100% 1428MB 72.6Mb/s 1:03:41
SRR594399.sra 100% 7082MB 78.6Mb/s 1:21:36
接下来你就可以去冲杯咖啡,开开窗透透气,等你坐下时,就可以处理下载好的数据了。
是不是非常简单,来点个赞吧,英雄。