大更新,QIIME 2 2023.5

并行化、断点续分析、输出集合、基于阴性对照识别污染、宏基因组学工作流程(即将推出!)
抱歉,竟然比发布日期一个月才发现QIIME 2 2023.5 版本更新了!
计划的下一个QIIME 2版本计划于2023年8月发布(QIIME 2023.8)。

激动人心的公告

Parsl

QIIME 2 流程现在可以通过parsl方式并行化,在 CLI (命令行)上,使用基本parsl 配置,传递--parallel标志给一个给定流程,可以在大多数非 HPC(超算) 系统上实现并行化

在 Python API 中,调用流程以获得相同的结果(如diversity.pipelines.core_metrics.parallel(*args, **kwargs)))

Parsl 允许对 HPC 系统进行更详细的配置。有关如何在 QIIME 2 中执行此操作的更多文档可以在上面链接的开发文档中找到。

流程恢复

中途失败的 QIIME 2 流程现在可以从其故障点恢复,而无需从头开始重新启动
默认情况下,在 CLI 上启用此行为。QIIME 2 将在默认缓存(或流程上的新标志--use-cache指示的缓存)中创建一个池,该池将存储正在运行的管道的所有中间结果,并在失败后重新运行管道时尝试重用此池中的结果。管道成功后,将删除池。

如果要指定要使用的池(管道成功后不会自动删除),请提供标志,后跟要用于缓存中池的密钥。如果要选择退出此行为,请传递该标志。--recycle-pool--no-recycle

在 Python API 中,必须使用池中的常用语法在池中用于管道恢复。

from qiime2 import Cache

cache = Cache('cache_path')
pool = Cache.create_pool('pool', reuse=True)

with pool:
    diversity.pipelines.core_metrics(*args, **kwargs)
# 这与以下命令相同
qiime diversity core-metrics <inputs and params> --use-cache 'cache_path' --recycle-pool 'pool' <outputs>

这将有望使它在执行管道时遇到墙壁时间或其他一些暂时性错误,您不会丢失管道在失败之前所做的所有进度。

注意:如果将流程任何输入或参数更改,则可能无法重用上一次运行创建的所有中间结果;但是,QIIME 2 仍将重用更改后的参数未涉及的任何结果

输出集合

现在可以将工件集合作为单个输出返回。
在 CLI 上,需要为输出集合提供一个尚不存在的目录(与--output-dir相同)。他们将创建此目录,然后将所有工件以及一个 .order文件写入该目录,该文件仅按顺序包含集合中所有工件的名称。

在 Python API 中,将返回一个 ResultCollection 对象,该对象可以通过与字典大致相同的方式进行访问,但添加了将对集合中的所有工件运行validate的方法。 .save可以在 ResultCollections上调用,以使用与 CLI 完全相同的规则将它们保存到磁盘。 ResultCollection.load可以调用以将目录加载到ResultCollection对象中,就像加载单个工件一样。

q2-quality-control

添加了三个新命令以供使用[decontam](https://github.com/benjjneb/decontam):

  • decontam-identify- 支持使用频率信息(定量测量)或对照中的特征普遍性基于阴性对照识别污染
  • decontam-score-viz- 污染物的直方图摘要,可选择对特征计数进行归一化。
  • decontam-remove-(实验性)按分数过滤特征表。将来可能会将其替换为feature-table's filter-features

可重复性

Provenance-lib 已经添加到了核心发行版中!provenance-lib提供对provenance replay的访问,这使用户能够从存储在所有QIIME 2结果中的数据来源生成新的可执行脚本。想了解更多?在QIIME 2论坛上查看@ChrisKeefe的教程,并阅读我们新的预印本,促进生物信息学的可重复性.立即开始使用它来记录您的生物信息学,或者通过将来源回放应用于他们的 QIIME 2 结果来学习其他人所做的事情。激活 QIIME 2 2023.5 conda 环境后,通过运行replay --help访问此功能。

重大变更

  • Q2CLI

    • [添加了命令qiime tools list-typesqiime tools list-formats 命令到qiime tools import命令,并将--show-importable-types替换为--show-importable-formats。新命令列出每个可用语义类型或格式的说明(如果可用),并且仅允许列出感兴趣的查询。
  • Q2-组成

    • 解决了da-barplot可视化效果,对feature id做出假设的问题。 da-barplot以前在分号上拆分特征 ID 以提高数字的可读性,假设不同的分号分隔字段是不同的分类级别。但是,不能保证功能 ID 中的分号始终是级别分隔符,或者如果打算使用级别分隔符,则它们始终是分号(例如,|也是常用的分隔符)。用户现在必须提供参数--p-level-delimiter ';'才能实现上述行为。

以下是该版本的亮点:

  • QIIME 2 框架

    • 修复了进程在退出时清理时可能发生的争用条件
  • Q2-组成

    • 修复了da-barplot指向包含空格的元数据值的子图的链接断开的错误。

    • 修复了ancombc在提供单个列::值对时导致tabulate可视化工具中不需要的reference_level字符串拆分的bug。

    • ancombc中添加了元数据列类型强制实施,允许包含整数值的分类元数据列在包含在formula

    • tabulate可视化工具添加了单元测试套件

  • q2-feature-table

    • 添加了对所有要素表类型的支持。现在,任何特征表都可以转置

      这将解决诸如此类的问题transpose详见他们的帖子2在论坛上!

  • Q2-FMT

    • 添加了一个名为feature-peds的方法。这计算了移植每个供体特征的受试者比例。

    • 重构sample-peds以匹配feature-peds的实现。

    • 修复了允许FeatureTable[Composition]作为sample-peds输入的错误。

    • sample-peds中添加了一个drop_incomplete_timepoint参数。这将允许丢弃大量样本丢失的任何时间点!

    • plot-heatmap添加了级别分隔符参数,允许用户拆分分类字符串

  • q2-longitudinal

    • 修复了feature-volatility可视化工具中由数字元数据列中的空白值引起的bug
  • q2-sample-classifier

    • 添加了Adaboost对估算器中其他基本估算器的支持
  • Q2-分类群

    • 添加了barplotFeatureTable[PresenceAbsence]输入的支持。这对于支持我们的一些 QIIME 2 端到端霰弹枪宏基因组学工作流程(即将推出!)
    • 更新barplotFeatureData[Taxonomy]可选输入 。对于此用例,功能标签是从功能ID中解析的。
  • Q2 类型

    • 添加了ImmutableMetadata类型,该类型旨在将 QIIME 2 元数据存放在工件中。这使操作能够输出元数据metadata,这在以前是不可能的,因为 QIIME 2 操作只能输出工件和可视化效果。如果导出ImmutableMetadata项目,它将是一个普通的旧(可变)元数据文件。
    • 添加了对数字样本 ID 的支持

文档更新

  • 癌症微生物组干预教程

    • 修复了癌症微生物组干预教程中的拼写错误。
  • 用户文档

    • 在文档的数据资源页面添加了有关** Silva 分类分类器的注释。具体来说,QIIME 2网站上提供的Silva分类器和参考文件包括物种水平的分类法。虽然Silva的注释确实包括物种,但Silva没有管理物种级别的分类法,因此这些信息可能不可靠。在QIIME 2的未来版本中,我们将不再在Silva分类器中包含物种水平的信息。这在QIIME2论坛上讨论过(见物种标签:警告!GitHub
  • 开发者文档

    • 添加了有关 Parsl、管道恢复和集合的文档

补丁更新 (2023.5.1)

  • q2cli
    • 修复了qiime tools view任何输入都崩溃的错误。
    • 修复了--use-cache导致回收池使用与输出目标关联的缓存而不是默认值/提供值的错误。
  • qiime2
    • 修复了将parallel/parsl 配置中的值设置为 None 时的弃用警告。
  • q2-cutadapt
    • 添加了demux-paired混合方向读取的支持
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 219,490评论 6 508
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,581评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 165,830评论 0 356
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,957评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,974评论 6 393
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,754评论 1 307
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,464评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,357评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,847评论 1 317
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,995评论 3 338
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,137评论 1 351
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,819评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,482评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,023评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,149评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,409评论 3 373
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,086评论 2 355

推荐阅读更多精彩内容