二、数据下载
1.准备工作
工作目录管理
## 示例如下：tree -L 1├── biosoft #软件安装目录├── database #数据库存放目录，包括参考基因组，注释文件，公共数据库等├── pipline #流程搭建目录├── project #项目分析目录└── project_backup #数据备份目录
详细命令
# 进入到个人目录cd ~## 1.建立数据库目录mkdir database# 在数据库下建立参考基因组数据库，注意命名习惯：数据库名字/物种名字/参考基因组版本信息mkdir -p database/genome/Ensembl/Homo_sapiens/GRCh38_release95## 2.建立软件安装目录mkdir biosoft## 3.建立项目分析目录mkdir projectcd project# 注意项目命名习惯：物种-样本数-疾病-分析流程mkdir Human-16-Asthma-Transmkdir Human-16-Asthma-sRNA Human-16-Asthma-lncRNA Human-16-Asthma-RRBS## 4.建立数据备份目录mkdir project_backup# 哪天备份就在那个日期文件夹，非常有利于项目溯源mkdir 20200622# 在project_backup下放一个所有备份数据路径的txt文件，方便快速查找项目touch zhangj_project_backup_all_20200622_update.xls
2.数据下载
示例文章及其流程
第一步
在文章中找到GSE编号 → 在GEO页面的accession搜索GSE编号 → 在结果页面寻找 BioProject：和 SRA：两个编号
第二步：
用 conda 安装 aspera 软件（记得激活小环境再安装）
#激活小环境conda activate rnaseq#安装两种方法conda install -c rpetit3 aspera-connect conda install -c hcc aspera-cli
第三步：
🍀 两种下载方法
2.1
2.2
🌱 方法一：
2.3
得到Accession list文件后将文件上传到服务器 ~/project/Human-16-Asthma-Trans/data/rawdata/sra 位置
2.4
# 使用prefetch命令下载单个文件：如SRR1039510prefetch SRR1039510# 批量下载：建立循环，并查看# =号两边没有空格outputdir=/teach/project/Human-16-Asthma-Trans/data/rawdata/sracat sampleId.txt | while read iddo echo "prefetch ${id} -O ${outputdir} "done >download.sh# 运行脚本，由于服务器资源有限，运行不报错就好了，ctrl+C强制退出nohup sh download.sh >download.log &# 验证数据的完整性vdb-validate SRR1039510
* 小技巧：如何查看自己需要的信息在第几列：
less-S filereport_read_run_PRJNA*|head-n1|awk'{for(i=1;i<=NF;i=i+1){a[NR,i]=$i}}END{for(j=1;j<=NF;j++){str=a[1,j];for(i=2;i<=NR;i++){str=str" "a[i,j]}print str}}'|less-SN
🌿 方法二：
打开网址：https://www.ebi.ac.uk/ena/browser/home
2.5
2.6
在路径下：~/project/Human-16-Asthma-Trans/data/rawdata/sra#从老师那调取文件（自己下载的话直接传到以上路径就好）ln-s/teach/data/airway/sra/*.#查看less-Sfilereport_read_run_PRJNA229998_tsv.txt#查看自己需要的信息在第几列(该命令会输出所有列名，找到需要的信息在第几列）less-Sfilereport_read_run_PRJNA*|head-n1|awk'{for(i=1;i<=NF;i=i+1){a[NR,i]=$i}}END{for(j=1;j<=NF;j++){str=a[1,j];for(i=2;i<=NR;i++){str=str " " a[i,j]}print str}}'|less-SN#根据需要信息在13列，修改$后的数值cat filereport_read_run_PRJNA229998_tsv.txt|awk'NR>1{print $13}'>sra.url#可用以下查看cat filereport_read_run_PRJNA229998_tsv.txt|awk'NR>1{print $13}'|less#查看是否有特殊字符cat-Asra.url#去除特殊字符sed-i"s/\s*$//g"sra.url
2.7
参数的使用：
下载
#查找密钥find ~ -name asperaweb_id_dsa.openssh #激活小环境conda activate rnaseq#下载sra格式数据（自己还没尝试成功，~后加的是自己的密钥）ascp -k 1 -QT -l 300m -P33001 -i ~/miniconda3/envs/rnaseq/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/srr/SRR103/008/SRR1039508 .#下载gz格式ascp -k 1 -QT -l 300m -P33001 -i ~/biosoft/miniconda3/envs/rna/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR103/000/SRR1039510/SRR1039510_1.fastq.gz .#转后台Ctrl+z → 输入命令 bg → jobs 查看（top) #转前台 fg %1 #提交到后台并行下载cat sra.url |while read iddo nohup ascp -k 1 -QT -l 300m -P33001 -i ~/miniconda3/envs/rnaseq/etc/asperaweb_id_dsa.openssh era-fasp@${id} ./ &done#查看ps fx | less#杀掉一个任务ps fx | grep 'ascp' | awk '{print "kill -9" $1}##完整性检验#(删除中间文件)rm *.partialrm *aspera-ckpt#查看md5值在第几列（run_accession , sra_md5)less -S filereport_read_run_PRJNA* |head -n 1 | awk '{for(i=1;i<=NF;i=i+1){a[NR,i]=$i}}END{for(j=1;j<=NF;j++){str=a[1,j];for(i=2;i<=NR;i++){str=str " " a[i,j]}print str}}' |less -SN# 得到md5值，$11与$4之间为两个空格，检验格式要求(看生成的数据名字是否有sra，有的话就写，没有就不写）awk 'NR>1{print $11" "$4".sra"}' filereport_read_run_PRJNA229998_tsv.txt >md5.txt# md5值检验（挂后台检验）md5sum -c md5.txt >check &#查看检验结果cat check#生成md5值md5sum sampleId.txt（文件名） > md5_test.txt
#sra转换为fq格式（可选）# 定义文件夹（路径改成自己的）fqdir=/teach/project/Human-16-Asthma-Trans/data/rawdata/fastq# 单个转换(用fastq-dump -h查看split-几，改在下面）fastq-dump --gzip --split-e -X 25000 -O ${fqdir} SRR1039510.sra#fasterq-dump --split-files SRR11180057.sra# 批量转换ls ~/project/Human-16-Asthma-Trans/data/rawdata/sra/*sra | while read iddo echo "fastq-dump --gzip --split-e -X 25000 -O ${fqdir} ${id}"done >sra2fq.sh# 提交后台运行命令nohup sh sra2fq.sh >sra2fq.log &#查看jobs
2.8
注意：
