直接看本文最下面下载脚本，区分SRR长度，下载fq
一、prefetch 下载
1. 打开NCBI数据库（https://www.ncbi.nlm.nih.gov/），在搜索框输入要查询的编号。
2.在搜索结果中勾选你感兴趣的样本，选择右上角Send to – File – Accession List， 点击Create File，下载SraAccList.txt 文件
3.下载安装最新版本SRA Toolkit。（https://www.ncbi.nlm.nih.gov/sra/docs/sradownload/#ui-ncbiinpagenav-heading-4 ）
4.运行命令：**prefetch --option-file SraAccList.txt**
下载完成后，文件被存储在默认目录：**/home/usrname/ncbi/public/sra/**
cat SraAccList.txt
SraAccList.txt
### Step2：perfetch 数据下载和解压
# Step2.1 perfetch 下载
$ cat down.txt | while read id; do
echo $id;
( nohup prefetch $id --max-size 200G & );
done
# Step2.2 faster-dump解压
ls *.sra | while read id;
do
echo $id; ( nohup fasterq-dump -e 16 --split-files -O ./ $id & );
done
二、 Ascp 快速下载
软件下载：
wget http://download.asperasoft.com/download/sw/connect/3.7.4/aspera-connect-3.7.4.147727-linux-64.tar.gz
tar -zxvf aspera-connect-3.7.4.147727-linux-64.tar.gz
sh aspera-connect-3.7.4.147727-linux-64.sh
添加环境变量：
vi ~/.bashrc
export PATH="/home/username/.aspera/connect/bin:$PATH" # username为你的用户名
下载单个SRA文件
ascp -T -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -k 1 -T -l200m anonftp@ftp-private.ncbi.nlm.nih.gov:/sra/sra-instant/reads/ByRun/sra/SRR/SRR526/SRR5266611/SRR5266611.sra .
Aspera的用法：
$ ascp [参数] 目标文件 目的地址
Aspera的常用参数：
-T 不进行加密。若不添加此参数，可能会下载不了。
-i string
输入私钥，安装 aspera 后有在目录 ~/.aspera/connect/etc/ 下有几个私钥，使用 linux 服务器的时候一般使用 asperaweb_id_dsa.openssh 文件作为私钥。
--host=string
ftp的host名，NCBI的为ftp-private.ncbi.nlm.nih.gov；EBI的为fasp.sra.ebi.ac.uk。
--user=string
用户名，NCBI的为anonftp，EBI的为era-fasp。
--mode=string
选择模式，上传为 send，下载为 recv。
-l string
设置最大传输速度，比如设置为 200M 则表示最大传输速度为 200m/s。若不设置该参数，则一般可达到10m/s的速度，而设置了，传输速度可以更高。
批量下载 ，首先创建一个accession文件，用于保存序列号
$ head accession.txt
SRR5266611
SRR5266610
SRR5266609
SRR5266608
SRR5266607
SRR5266606
(现在下载有些问题，用EBI 正常)
写个简单的循环，进行批量下载,down_SRR_data.sh 脚本内容如下：
for i in `cat accession.txt`;do
x=$(echo $i | cut -b1-6)
y=$(echo $i | cut -b1-3)
ascp -T -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -k 1 -T -l200m anonftp@ftp-private.ncbi.nlm.nih.gov:/sra/sra-instant/reads/ByRun/sra/$y/$x/$i/$i.sra .
done
从EBI下载脚本
#download from EBI
#EBI
ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR621/003/SRR6213653/SRR6213653_1.fastq.gz ./
#!/bin/bash
# 双端数据
cat download_fq_paired.ascp.txt |while read id;do
ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/${id:0:6}/00${id:9:10}/$id/${id}_1.fastq.gz ./
ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/${id:0:6}/00${id:9:10}/$id/${id}_2.fastq.gz ./
done
# 单端数据
cat doenload_fq_single.ascp.txt|while read id;do
ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/${id:0:6}/00${id:9:10}/$id/${id}.fastq.gz ./
done
SRA database ftp地址规律：
/sra/sra-instant/reads/ByRun/sra/{SRR|ERR|DRR}/<first 6 characters of accession>/<accession>/<accession>.sra
推荐Acsp 下载，比prefetch 更加稳定，速度可能更快
tips:
1.如果需要杀掉prefetch 批量下载程序，直接top 后kill prefetch 进程
2.如果需要杀掉Ascp 下载程序，需要首先kill 掉 sh down_SRR_data.sh 进程，再查杀掉 真正运行的Ascp下载程序，于是这个for 循环下载就会全部终止~~~
三、【检查数据是否下载完整】进行比对accession.txt 与下载的.sra文件差异
需要下载的SRA列表 但是只下载了269个，需要查明原因。
notepad++排序去重
需要下载的list
#comm之前需要进行sort ,之后comm 得到差集。即可知道哪些sra文件下载漏了
[kcao@login raw_data]$ sort SRR_Acc_List.txt >test.txt
[kcao@login raw_data]$ ls|grep "sra$"|sed "s/.sra//g"|sort|comm - test.txt -3
SRR531939
[kcao@login raw_data]$ ascp -T -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -k 1 -T -l200R531939.sra .&
四、GSM转SRR
image.png
[kcao@h1-lgl test]$ for GSM in `cat downlaod.txt`;do SRR=`esearch -db sra -query $GSM | efetch -format docsum|xtract -pattern DocumentSummary -element Run@acc`;echo $SRR;done
SRR513122
SRR3055265
SRR3055266
五，注意
*纠正ascp 下载脚本【按照
SRR长度，分别下载fastq文件。】
# 对于单端数据
cat down.txt |while read id;do if [ ${#id} == 9 ] ;
then
ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/${id:0:6}/$id/${id}.fastq.gz ./;
else
ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/${id:0:6}/00${id:0-1}/$id/${id}.fastq.gz ./;
fi;
done
# 对于双端数据
cat down.txt |while read id;do if [ ${#id} == 9 ] ;
then
ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/${id:0:6}/$id/${id}_1.fastq.gz ./;
ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/${id:0:6}/$id/${id}_2.fastq.gz ./;
else
ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/${id:0:6}/00${id:0-1}/$id/${id}_1.fastq.gz ./;
ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/${id:0:6}/00${id:0-1}/$id/${id}_2.fastq.gz ./;
fi;
done
ascp 添加到环境变量，prefetch下载sra,自动搜索scp
image.png
六：单细胞数据下载
由于从EBI里面来看，单细胞数据存放只有一个文件，类似单端数据一样，但是不能下载FASTQ文件，而是下载SRA文件，再进行解压。
## methods2: ascp 从EBI下载.sra 数据
cat down.txt |while read id;do if [ ${#id} == 10 ] ;
then
ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh \
era-fasp@fasp.sra.ebi.ac.uk:/vol1/srr/${id:0:6}/00${id:0-1}/$id ./;
else
echo "###### $id error ###### "
fi;
done
