NCBI_SRA下载

下载sratools:

img

解压安装:

二进制文件,解压配置环境后就能用。注意:该工具下载后会在家目录下自动建一个ncbi的目录。

#tar -zxvf 文件名
tar -zxvf sratoolkit.2.10.9-centos_linux64.tar.gz

配置环境:

  • 最好先pwd先查看自己的具体路径,避免出错,配置好之后可以 用fastq-dump查看一下是否路径添加成功.


$ cd sratoolkit.2.10.9-centos_linux64 bin
$ pwd
/home/xiaotangyuan/sratoolkit.2.10.9-centos_linux64/bin
   
$ echo 'export export PATH=$PATH:/home/xiaotangyuan/sratoolkit.2.10.9-centos_linux64/bin' >> ~/.bash_profile
$ source ~/.bash_profile
$ cd  sratoolkit.2.10.9-centos_linux64/bin
$vdb-config -i
$ which fastq-dump 
/home/xiaotangyuan/sratoolkit.2.10.9-centos_linux64/bin/fastq-dump

1. prefetch下载数据

  • 单个数据下载
    $ prefetch SRR1234567
    
    ...
    
  • 批量数据下载

    获取Accession List:

    进入NCBI的SRA数据库输入SRP号:

$ prefetch --option-file SraAccList.txt
#下载完成后,文件被存储在默认目录:/home/usr/ncbi/public/sra/

#放在后台
nohup prefetch -O . $(<SRR_Acc_List.txt) &

2. wget 下载

  • 单个数据下载

    获取下载地址:

img
img
$ wget https://sra-download.ncbi.nlm.nih.gov/traces/sra60/SRR/005361/SRR5489805
正在解析主机 sra-download.ncbi.nlm.nih.gov (sra-download.ncbi.nlm.nih.gov)... 130.14.250.24, 130.14.250.25, 130.14.250.28
正在连接 sra-download.ncbi.nlm.nih.gov (sra-download.ncbi.nlm.nih.gov)|130.14.250.24|:443... 已连接。
已发出 HTTP 请求,正在等待回应... 200 OK
长度:3491558416 (3.3G) [application/octet-stream]
正在保存至: “SRR5489805.1” 0% [ ] 646,937 188KB/s 剩余 5h 1m
  • 批量数据下载

    获取下载地址:在Send to下选择Runinfo而不是Accession List:

获取批量下载的地址

然后把这些下载地址保存在一个新的文件中:

然后利用wget -i 文件 直接下载(放入后台不中断下载:nohup cmd &):

$ nohup wget -i download_path.txt &

[1] 30328

#nohup: 忽略输入并把输出追加到"nohup.out"

3.本人用的方法

我的文件中只有SRA号,如下:

zzzzzz.jpg
setwd("/sibcb1/bioinformatics/wangjiahao/hope/siqi")

source("/sibcb2/bioinformatics2/wangjiahao/code/MyTreasures.R")

Anno  = read.table(file = "SRA.txt", header = TRUE, sep = "\t", stringsAsFactors = FALSE)
SRXID = Anno[, 1]
Ns    = length(SRXID)

targetFolder = "NCBI_SRA"
setwd(targetFolder)
done = list.files()
SRXID %in% done

#打开多个shell界面进行下载
# for(i in 1:15){
# for(i in 16:30){
# for(i in 31:45){
# for(i in 46:60){
# for(i in 61:75){
# for(i in 76:84){
for(i in 74:75){

    SRX = SRXID[i]
    cat("Processing", i, SRX, "\n")

    if(!dir.exists(SRX))
            dir.create(SRX)

    setwd(SRX)
    #因为家目录出现问题导致自己下载的sratools不能使用,也不能添加环境变量,所以使用绝对路径
    runFTP = system(paste("/sibcb2/bioinformatics2/wangjiahao/software/sratoolkit/bin/srapath", SRX), intern = TRUE)
    runID  = sapply(strsplit(runFTP, "/"), function(z) z[length(z) - 1])

    if(length(runFTP) == 0)
            next

    for(j in 1:length(runFTP)){

            sra = paste0(runID[j], ".sra")
            cmd = paste("wget -c", runFTP[j], "-O", sra)
            system(cmd)
    }
    setwd("../")
}

#稍微忽略
prefetch -t ascp -a "/sibcb1/bioinformatics/wangjiahao/.aspera/connect/bin/ascp|/sibcb1/bioinformatics/wangjiahao/.aspera/connect/etc/asperaweb_id_dsa.openssh" --option-file SRR_Acc_List.txt -O NCBI_SRA_raw

下载.sra数据后转化为fastq文件

#fasstq-dump也是sratools的一个工具
for f in *.sra
do
nohup fastq-dump --split-3 $f &
done

本文参考:https://www.jianshu.com/p/f37a9a87d463
若侵必删,谢谢

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,558评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,002评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,036评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,024评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,144评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,255评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,295评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,068评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,478评论 1 305
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,789评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,965评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,649评论 4 336
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,267评论 3 318
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,982评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,223评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,800评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,847评论 2 351