概念 - 规范 - Manifest

Manifest

Manifest List #

├── manifest
    └── manifest-list-51c16f7b-421c-4bc0-80a0-17677f343358-1

清单列表包含了若干个清单文件的元数据。其名称包含 UUID 标识符,是一个 avro 格式的文件,其数据模型为:

  1. fileName: manifest file name.
  2. fileSize: manifest file size.
  3. numAddedFiles: number added files in manifest.
  4. numDeletedFiles: number deleted files in manifest.
  5. partitionStats: 分区统计信息方面,此清单中分区字段的最小值和最大值对于在查询过程中跳过某些清单文件是有益的,这是一种简单统计信息。
  6. schemaId: 在编写此清单文件时所使用的 schema id 。

Manifest #

manifest 包含若干数据文件或变更日志文件或表索引文件的元数据。其名称包含 UUID,是一个 avro 文件。

文件的更改会保存在Manifest中,并且可以对文件进行添加或删除操作。Manifest应按顺序排列,同一个文件可能会被多次添加或删除。应当读取最新版本。这种设计能够使提交操作更轻便,从而支持由压缩操作产生的文件删除。

Data Manifest #

数据清单包含了若干数据文件或变更日志文件的相关元数据。

├── manifest
    └── manifest-6758823b-2010-4d06-aef0-3b1b597723d6-0

The schema is:

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 135,292评论 19 139
  • 基本概念 文件布局 一个表的所有文件都存储在一个基础目录下。Paimon 文件采用分层方式组织。以下图片展示了文件...
    qing_feng阅读 393评论 0 0
  • 通过这篇文章,我想分享我们部署的重要方面,这些方面帮助我们实现了一个可伸缩、可靠的环境。我希望如果你现在开始在生产...
    rocksun阅读 1,638评论 0 0
  • 大家好,我叫谢伟,是一名程序员。 今天的主题:kubernetes 概念篇,通过一些示例,学习 kubernete...
    谢小路阅读 4,280评论 1 1
  • 为了确保整体的简单性和易上手,Kubernetes 通过一些简单的抽象隐去操作背后的复杂逻辑,但作为一名有梦想的工...
    遥遥知识库阅读 897评论 0 0