fastqc查看数据基本情况
1#安装fastqc
课题组超算已安装的fastqc报错，在自己目录下新建一个software目录用于安装相应的软件，手动安装:
cd到software目录
$wget https://www.bioinformatics.babraham.ac.uk/projects/fastqc/fastqc_v0.12.1.zip ##wget 我这里居然也连不上不知道为什么/笑哭， 于是我在pc下好了再传到超算上
$unzip fastqc_v0.12.1.zip
$cd FastQC/
$chmod 755 ./fastqc ##加文件权限
$fastqc -h ##查看帮助文档，出来了代表安装好了，我这里就不添加这个软件的全局环境变量了，后面用绝对路径使用这个软件
2#运行程序
安装完成后，回到放置需要检测的测序数据的目录中，运行程序
$/newlustre/home/jfgui/Wangtao/sofeware/fastqc \ ##绝对路径运行软件
--outdir /newlustre/home/jfgui/Wangtao/XX_survey/fastqc.out \ #结果输出目录,可以提前新建一个: $ mkdir fastqc.out
-t 6 \ #指定运行的线程数，如果在超算节点上跑, pbs脚本参数就已经指定节数和核心数这里就可以不用设置了
/newlustre/home/jfgui/Wangtao/XX_survey/liver.clean.R1.fastq.gz \ #NGS双端测序数据1
/newlustre/home/jfgui/Wangtao/XX_survey/liver.clean.R2.fastq.gz #NGS双端测序数据2
3#查看结果
查看输出结果
$ll fastqc.out
总用量 2.9M
-rw-rw-r-- 1 jfgui jfgui 599K 7月 21 21:44 liver.clean.R1_fastqc.html
-rw-rw-r-- 1 jfgui jfgui 850K 7月 21 21:44 liver.clean.R1_fastqc.zip
-rw-rw-r-- 1 jfgui jfgui 607K 7月 21 21:43 liver.clean.R2_fastqc.html
-rw-rw-r-- 1 jfgui jfgui 864K 7月 21 21:43 liver.clean.R2_fastqc.zip
将html文件下载下来查看数据的质量，看看有没有接头，低质量的reads等以便考虑是否需要后续的过滤
fastp过滤低质量数据
1#安装fastp
同样的，我还是手动安装，有条件可以conda install ...
$wget http://opengene.org/fastp/fastp
$chmod a+x ./fastp ##添加权限
$fastp -h ##查看帮助文档
2#运行程序
/newlustre/home/jfgui/Wangtao/software/fastp \ #绝对路径运行
--threads 8 \ #指定的线程数，注意是---threads不是-t，-t是另一个参数
-i /newlustre/home/jfgui/Wangtao/XX_survey/liver.clean.R1.fastq.gz \ #输入的R1端raw data
-I /newlustre/home/jfgui/Wangtao/XX_survey/liver.clean.R2.fastq.gz \ #输入的R2端raw data
-o liver.clean.CLEAN.R1.fastq.gz \ #输出过滤后的R1端clean data,看我的数据名称其实公司已经给我过滤过了
-O liver.clean.CLEAN.R2.fastq.gz \ #输出过滤后的R2端clean data
-j liver.clean.fastp.json \ #json格式日志
-h liver.clean.fastp.html \ #网页版日志
2>liver.clean.fastp #错误重定向
3#查看结果
查看输出结果
$ll fastp.out
总用量 22G
-rw-rw-r-- 1 jfgui jfgui 11G 7月 23 15:57 liver.clean.CLEAN.R1.fastq.gz
-rw-rw-r-- 1 jfgui jfgui 12G 7月 23 15:57 liver.clean.CLEAN.R2.fastq.gz
-rw-rw-r-- 1 jfgui jfgui 482K 7月 23 15:57 liver.clean.fastp.html
-rw-rw-r-- 1 jfgui jfgui 138K 7月 23 15:57 liver.clean.fastp.json
-rw-rw-r-- 1 jfgui jfgui 1.3K 7月 23 15:57 liver.clean.fastp.log
同样的将fastp过滤后的html格式report文件下载下来查看过滤情况
image.png
4#质控结果汇总
这一步可以直接依次复制每个样品的fastp report中自己想要的信息，如过滤了前后reads数，Q20，Q30等进行手动汇总，也可以依据以下脚本进行自动汇总
#1用生成所有样品的json日志生成json.list文件用于R脚本的输入，如果样本量少的话也可以用记事本自己写一个
$ls *.fastp.json | awk -F "." '{print $1"\t"$0}' > fastp.json.list ## *通用符，-F定义分隔符，|通道，$N被分隔符分割的第几个字符，$0整个字段，/t制表符
#2对fastp.json.list里的所有json日志进行过滤结果的汇总统计，用的genek课程提供的R脚本fastp_json2tab.R
$Rscript fastp_json2tab.R fastp.json.list fastp.statout ## Rscript + R脚本 + 上一步的fastp.json.list + 输出结果
