高通量测序数据质控神器Trimmomatic

简介

高通量测序下机的原始数据中存在一些低质量数据、接头以及barcode序列等,为消除其对后续分析准确性产生的影响,在数据下机以后对原始数据进行质控处理就成了至关重要的环节。Trimmomatic就是一个高通量测序数据质控神器,可以对测序数据进行过滤。

Trimmomatic 支持多线程,处理数据速度快,主要用来去除 Illumina 平台的 Fastq 序列中的接头,并根据碱基质量值对 Fastq 进行修剪。软件有两种过滤模式,分别对应 SE(单末端测序模式) 和 PE(双末端测序模式) 测序数据,同时支持 gzip 和 bzip2 压缩文件。另外,也支持 phred-33 和 phred-64 格式互相转化。

准备

下载测试数据

$ curl -O ftp://ftp-trace.ncbi.nlm.nih.gov/sra/sra-instant/reads/ByRun/sra/ERR/ERR571/ERR571271/ERR571271.sra

将 sra 文件转换成 fastq 文件

为了将sra文件转换成fastq格式,我们需要使用 fastq-dump 工具,这个工具被打包在 sratoolkit 工具包中。

sratoolkit 工具包下载地址

https://trace.ncbi.nlm.nih.gov/Traces/sra/sra.cgi?view=software

Linux环境可以执行选择下面地址直接下载并解压安装

# CentOS
$ wget -c https://ftp-trace.ncbi.nlm.nih.gov/sra/sdk/2.9.2/sratoolkit.2.9.2-centos_linux64.tar.gz
# Ubuntu
$ wget -c https://ftp-trace.ncbi.nlm.nih.gov/sra/sdk/2.9.2/sratoolkit.2.9.2-ubuntu64.tar.gz

$ tar zxvf sratoolkit.2.9.2-centos_linux64.tar.gz

将 sra 文件转换成 fastq 文件

./sratoolkit.2.9.2-centos_linux64/bin/fastq-dump --split-files ERR571271.sra

解压后产生 ERR571271_1.fastq 和 ERR571271_2.fastq 文件。

下载 Docker 镜像

为了测试方便,这里没有从源码进行编译,而是直接使用的 Docker 容器来做测试。

为了从 quay.io 获取 spades 镜像,需要先注册一个账号,注册比较简单,就是填个表格就行了。

$ sudo docker login quay.io

$ sudo docker pull quay.io/biocontainers/trimmomatic:0.38--1

运行 Docker 容器

在上面下载的数据文件同级目录下运行下面命令来启动一个容器,且后续的测试命令都需要在此容器里运行。

# 启动一个容器
$ sudo docker run -it --rm -v `pwd`:/trimmomatic quay.io/biocontainers/trimmomatic:0.38--1 bash

# 运行一下trimmomatic命令验证容器可用
$ trimmomatic

运行

$ cd /trimmomatic
$ trimmomatic PE \
  -phred33 \
  /trimmomatic/ERR571271_1.fastq /trimmomatic/ERR571271_2.fastq \
  /trimmomatic/ERR571271_1_paired.fq /trimmomatic/ERR571271_1_unpaired.fq \
  /trimmomatic/ERR571271_2_paired.fq /trimmomatic/ERR571271_2_unpaired.fq \
  ILLUMINACLIP:/usr/local/share/trimmomatic-0.38-1/adapters/TruSeq3-PE.fa:2:30:10 \
  LEADING:3 TRAILING:3 SLIDINGWINDOW:4:15 HEADCROP:8 MINLEN:36

TrimmomaticPE: Started with arguments:
 -phred33 /trimmomatic/ERR571271_1.fastq /trimmomatic/ERR571271_2.fastq /trimmomatic/ERR571271_1_paired.fq /trimmomatic/ERR571271_1_unpaired.fq /trimmomatic/ERR571271_2_paired.fq /trimmomatic/ERR571271_2_unpaired.fq ILLUMINACLIP:/usr/local/share/trimmomatic-0.38-1/adapters/TruSeq3-PE.fa:2:30:10 LEADING:3 TRAILING:3 SLIDINGWINDOW:4:15 HEADCROP:8 MINLEN:36
Using PrefixPair: 'TACACTCTTTCCCTACACGACGCTCTTCCGATCT' and 'GTGACTGGAGTTCAGACGTGTGCTCTTCCGATCT'
ILLUMINACLIP: Using 1 prefix pairs, 0 forward/reverse sequences, 0 forward only sequences, 0 reverse only sequences
Input Read Pairs: 1812467 Both Surviving: 1557974 (85.96%) Forward Only Surviving: 248988 (13.74%) Reverse Only Surviving: 3135 (0.17%) Dropped: 2370 (0.13%)
TrimmomaticPE: Completed successfully

参数说明:

  • PE/SE - 设定对Paired-End或Single-End的reads进行处理,其输入和输出参数稍有不一样。
  • threads - 设置多线程运行数
  • phred33 - 设置碱基的质量格式,可选pred64
  • ILLUMINACLIP:TruSeq3-PE.fa:2:30:10 - 切除adapter序列。参数后面分别接adapter序列的fasta文件:允许的最大mismatch数:palindrome模式下匹配碱基数阈值:simple模式下的匹配碱基数阈值。
  • LEADING:3 - 切除首端碱基质量小于3的碱基
  • TRAILING:3 - 切除尾端碱基质量小于3的碱基
  • SLIDINGWINDOW:4:15 - 从5'端开始进行滑动,当滑动位点周围一段序列(window)的平均碱基低于阈值,则从该处进行切除。Windows的size是4个碱基,其平均碱基质量小于15,则切除。
  • MINLEN:50 - 最小的reads长度
  • CROP:<length> - 保留reads到指定的长度
  • HEADCROP:<length> - 在reads的首端切除指定的长度
  • TOPHRED33 - 将碱基质量转换为pred33格式
  • TOPHRED64 - 将碱基质量转换为pred64格式
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,242评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,769评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,484评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,133评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,007评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,080评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,496评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,190评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,464评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,549评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,330评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,205评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,567评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,889评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,160评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,475评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,650评论 2 335

推荐阅读更多精彩内容