GATK的HaplotypeCaller是经常用到的变异检测模块,但在大基因组或高深度测序模式下运行速度比较慢,虽然有--native-pair-hmm-threads多线程参数,但对效率的提升并不明显。
GATK同时也提供了基于Spark的数据处理引擎,工具名字是HaplotypeCallerSpark ,是个beta版本的工具,在实际生产环境中使用需谨慎。
使用该工具的时候不需要单独安装Spark和了解Spark的语法,只需要正确安装高版本的gatk。不管是个人服务器或者集群环境都可以直接使用Spark LOCAL 模式去运行,通过 --spark-master local[20] 指定线程数量,--spark-master local[*] 表示调用全部线程。软件对这部分的说明如下:
实际测试使用的是gatk-4.2.6.1 ,java 1.8,比普通模式快几倍。命令行如下:
gatk --java-options "-Xmx50g" HaplotypeCallerSpark -R chr.fa -I test.rmdup.bam -ERC GVCF -L 1 --min-base-quality-score 10 --do-not-run-physical-phasing true -O test.HaplotypeCaller.1.g.vcf.gz \
-- \
--spark-master local[20]
如果遇到java的报错 java.lang.StackOverflowError ,这就是你的基因组问题,要把基因组上的contig碎片去掉,就能正常运行了。
GATK官网关于Spark的说明:https://gatk.broadinstitute.org/hc/en-us/articles/360035890591-Spark