1. 课程大纲
- 基础知识
- 数据质控
- Fastqc结果解读
- 数据过滤
2. 学习笔记
2.1 基础知识
2.1.1 测序原理
- Sample Prep：DNA随机打断加adapter；
- Cluster Generation：桥式PCR；
- Sequencing： 边合成边测序；
- Data Analysis
2.1.2 fastq数据格式
- Read record information (including header, flow cell ID, Lane, Tile and barcode)
- Reads bases
- plus (+)
- quality scores (phred 33)
2.1.3 碱基质量体系
- A（黄）T（绿）C（红）G（蓝）
- Q = -10log10（e）转换：0.1对应10；
- Q30>80(质量大于30（错误率小于千分之一）的碱基比例大于80%）
- ASCII码，质量值 + 33后只需要一个值代替质量。
2.1.4 下载数据资料
git clone 网址（在对应文件夹下载，可下载至当前文件夹）
2.2 数据质控
2.2.1 md5：数据完整性校验
- 生成md5文件：md5sum *>md5.txt
- md5校验：md5sum -c md5
- 查看文件： cat md5.txt
2.2.2 安装FastQC
- 安装Bioconda（联网自动化安装miniconda64位）：
wget miniconda website #官网下载对应版本miniconda
sh 文件名 # yes下来安装
conda source ~/.bashrc #将conda添加至环境变量PATH
conda install 软件名 #后续可用此命令安装常用生信软件
conda config --add channels bioconda #配置channel
which 软件名 # 查看文件安装位置
conda install bwa = 0.7.12 #安装特定版本软件
conda search bwa #查看所有版本，*为已有版本
conda list # 查看已安装情况
conda update 软件名 # 软件升级
conda remove 软件名 #软件卸载
- 安装FastQC
conda install fastqc # 安装
fastqc #查看是否安装好
which fastqc #查看安装位置
wget 网址 #手动安装下载文件
unzip 文件名 # 解压文件
fastqc为java文件，可直接使用，仅需修改权限
chmod a+x
- Tips：推荐自动安装，出现问题再选择手动安装，具体wget网址下载，按文件说明一步步安装。
2.2.3 使用FastQC进行质控
- 查看帮助文档
fastqc -help #查看帮助文档
fastqc 文件名 #简单的质控方法，默认结果输出至当前目录，输出结果包含html文件和一个zip压缩文件
fastqc -o ./ #设置存储位置，当前位置
fastqc --nogroup # 不设分组
- 用新建shell脚本取代命令行模式
vi qc.sh
sh qc.sh
- 后台运行方式
fastqc test.1.fastq & test.2.fastq # &符号可同时运行两个文件，不分先后
nohup fastqc -o ./ -- nogroup test.1.fastq & test.2.fastq # nohup 用于后台运行，只需要远程服务器连接状态即可
- 批量生成脚本方式
ls ../raw_data/raw_data/*.fastq.gz | xargs -i echo nohup fastqc -o ./ -- nogroup {} \& >fastqc.sh #列出所有质控文件，命令通道，按行处理，对每行执行fastqc和输出，将结果存档于fastqc文件
less nohup.out # 通过日志查看运行状态
2.3 Fastqc结果解读
2.3.1 数据常见问题
- 低质量：Trim or Remove
- Adapter序列：Trim or Remove
- 细菌污染：比对后remove
- Reads过短：remove
- 质控结果：网页文件，需下载至本地浏览器打开；提示信息中仅供参考（对号为通过；叹号为警告；×为未通过）
2.3.2 数据的基本信息
- Encoding：数据质量体系，旧版本Illumina 1.5，新的为Sanger体系；旧的需转换至新的体系。
- Total Sequences：总的reads数。
- Sequence Length：序列长度，分固定长度，不固定长度（三代测序结果）
- %GC：GC含量。
2.3.3 数据质量如何
- Per base sequence quality：单个碱基质量箱线图（上四分位，中位数，下四分位，横坐标为碱基位置，纵坐标为质量，一般至少20以上才合格），一般二代测序单独显示，三代会有合并显示；二代测序在质控时，一般设置no group参数。
- Per Tile sequencing quality：冷色调为高质量，暖色调为低质量，好的测序一般都为蓝色。
- Per Sequence Quality Scores：序列质量平均值分配，横坐标为质量值，纵坐标为reads数目，一般最右侧有一个峰值。
2.3.4 AT是否相等
- Per base sequence content：正常条件下，一般A=T，C=G；当数据不够多，可能会出现差异较大的情况；当出现头部AT不等时，可能是随机引物造成。
2.3.5 Sequence Duplication
- 含义：完全相同的reads
- 产生原因：基因组中的重复序列；不同细胞中的多套DNA；PCR扩增。
- 正常duplication比例为4%左右，RNA-seq偏高，主要由于rRNA，表达量高的看家基因等；
- 过高原因：过多PCR扩增（6轮64个拷贝），主要包括过少DNA、大片段文库；片段长度差异太大，短片段重复多；
- 实际中一般仅分析前十万条；大于75bp仅选择前50bp；大于10次合并显示。
- 实际分析中一次reads大于90%or95%比较合适。
2.3.6 序列是否有污染
- 污染种类：实验中添加试剂（adapter或primer）；外源污染（人或细菌）。
- G/C含量图：正常一般为规则的正态分布平滑曲线，30-50%。
- Duplication level：个别重复数意外较多。
- Overrepresented sequences：某种序列格外多，证明有污染。
- Adapter Content：是否有adapter污染。
- kmer content：序列打断后，某种序列是否很多。
- Adapter 和 primer污染：过滤环节直接去除；
- 细菌污染：与其他基因组比对，确定是否有污染，若有，去除污染数据。
2.4 数据过滤
2.4.1 过滤软件哪家强
- SOAPnuke：华大专用，功能强大，安装复杂，有统计结果，低质量remove，需输入adapter序列，快。
- Trimmomatic：java不需要安装，低质量trim，保留更多数据，自带adapter库。
- FASTX-Toolkit：灵活，麻烦。
2.4.2 安装Trimmomatic
- 下载：wget 官网链接
- 解压：unzip 文件名
- 运行：java -jar 文件名（有java环境即可，否则需重新安装java）
2.4.3 使用trimmomatic过滤数据
-
过滤原理：接头处，空载，过短
过滤情况 - 过滤代码实例
java -jar trimmomatic-0.35.jar \ #注意写好文件所在绝对路径
PE \ #pair end
-phred33 \ #此处可省略
input_forward.fq.gz input_reverse.fq.gz \ #输入文件名
output_forward_paired.fq.gz output_forward_unpaired.fq.gz output_reverse_paired.fq.gz output_reverse_unpaired.fq.gz \ #输出文件名，一般四个
ILLUMINACLIP:adapter绝对路径/TruSeq3-PE.fa:2:30:10 \ #利用overexpresented数据确定adapter类型，Trueseq2 orTrueseq 3，去除adapter和primer等
LEADING:3 \ #去头，5’端低质量碱基
TRAILING:3 \ #去尾，3’端低质量碱基
SLIDINGWINDOW:4:15 \ #4个为单位的划窗，质量值小于15的去掉
MAXIINFO：60:0.2 # reads长度和质量的平衡
CROP/HEADCROP:100 \ # 最多保留N个碱基长度
MINLEN:36
3. 学习小结
- 注意活学活用，熟悉文件夹切换。
- 养成良好习惯，单独建立软件文件夹和数据文件夹。
