FastK介绍
仓库地址:thegenemyers/FASTK: A fast K-mer counter for high-fidelity shotgun datasets (github.com)
FastK 是一款高效的软件,用于从测序数据中计数 k-mer。它旨在实现快速、可扩展和内存高效,使其成为处理大型测序数据集的热门选择。FastK 专注于准确的 k-mer 计数,并为高级分析提供多种选择。
- 主要特点:
- 快速 k-mer 计数:FastK 经过优化,可在大型测序数据集中快速计数 k-mer,使其适用于高通量测序项目。
- 低内存使用率:它采用高效的算法和数据结构来最大限度地减少内存消耗,允许用户在标准硬件上处理大型基因组。
- 支持大 k-mer:虽然许多 k-mer 计数器仅限于较小的 k 值(例如,k ≤ 31),但 FastK 支持大 k-mer,这通常需要用于分析复杂或高度重复的基因组。
- 纠错:该软件可以通过分析低频 k-mer 来识别测序错误,并可用于在组装或其他下游分析之前纠正错误。
- 可扩展性:FastK 具有高度可扩展性,可用于小型基因组和大型复杂基因组(例如,植物或动物基因组)。
- 压缩:它支持压缩 k-mer 数据,从而降低了大型数据集的存储要求。
- 多线程支持:FastK 利用多核处理器加速 k-mer 计数,使其在现代计算架构上更快。
- 工作流程:
- 数据输入:FastK 将原始测序读数(FASTQ 格式)作为输入。
- K-mer 计数:它可以有效地计算数据集中所有 k-mer 的出现次数,并报告每个唯一 k-mer 的频率。
- 纠错和过滤:或者,FastK 可以过滤掉低频 k-mer(通常对应于测序错误)或在错误的 k-mer 影响下游分析之前纠正它们。
- 输出:FastK 生成一个 k-mer 直方图,可用于基因组组装、纠错或使用 Genome Scope 等工具进行进一步分析。
FastK 在处理速度和内存效率都是关键因素的大型测序数据集时特别有用。它通常与其他基因组组装或分析工具结合使用。
FastK的下载与安装
- conda安装
Fastk | Anaconda.org(非官方来源)
conda install bioconda::fastk
可能会报错,或者提示环境冲突,我没有成功过。
- 从源码编译
git clone https://github.com/thegenemyers/FASTK.git
cd FASTK
make
编译过程中可能会报错,提示一些环境缺失。
sudo apt-get install libbz2-dev #安装bzlib.h(Bzip2开发库)
sudo apt-get install liblzma-dev #安装liblzma(XZ压缩库开发库)
sudo apt-get install libcurl4-openssl-dev #安装libcurl开发库
安装完后,再重新编译
make clean
make
这之后在文件目录里面就可以打开FastK,可以添加到环境变量中,当然也可以不添加。
FastK的使用
- FastK
Usage: FastK [-k<int(40)>] [-t[<int(1)>]] [-p[:<table>[.ktab]]] [-c] [-bc<int>]
[-v] [-N<path_name>] [-P<dir(/tmp)>] [-M<int(12)>] [-T<int(4)>]
<source>[.cram|.[bs]am|.db|.dam|.f[ast][aq][.gz] ...
-v: 详细模式,进程中输出统计信息
-T: 使用-T个线程
-N: 使用指定路径作为输出目录并将其作为根名的前缀
-P: 将块级排序结果放入目录-P中
-M: 在KMcount的后续排序步骤中使用-M GB内存
-k: k-mer大小
-t: 生成排序的k-mer表及计数,≥指定的阈值
-p: 生成序列计数概况(如果给定表格则依据表格生成)
-bc: 忽略每个读段的给定长度前缀(例如条形码)
-c: 对每个序列进行同聚物压缩
- Histex
Usage: Histex [-1] [-kAG] [-h[<int(1)>:]<int(-G?1000:100)>] <source_root>[.hist]
-h: 输出在给定范围内计数的直方图
-k: 输出k-mer实例计数的直方图(与唯一k-mers比较)
-A: 以简单的制表符分隔的ASCII格式输出
-G: 输出适用于GeneScope.FK的ASCII格式直方图
-1: 以1-code格式输出
- 例如:
/home/ProgramFiles/FASTK/FastK -T12 -k31 C_heu.R1.clean.fastq C_heu.R2.clean.fastq
/home/ProgramFiles/FASTK/Histex C_heu.R1.clean.hist > data.hist
后续可使用Genome Scope2.0等软件进行分析。