序列化格式的比较

当您想要保存、发送或接收应用程序中传递的数据时，有许多不同的序列化格式可供选择。哪种格式最适合您的用例？本页旨在通过比较当今使用的一些最流行的序列化格式来帮助回答这个问题。

将比较以下序列化格式：

• CSV
• JSON
• Protobuf（Protocol Buffers协议缓冲区）
• TOML
• XML
• YAML
  让我们从一个免责声明开始：没有一种适合所有情况的序列化格式——最适合作业的格式取决于诸如被序列化的数据类型/数量以及将读取它的软件等因素。

以下部分中的示例展示了不同的格式如何存储相同的数据。我选择了一种简单、可重复的数据结构，所有经过审查的序列化格式都支持该结构（两个Pokemon对象，每个对象都有id、name和字段）。请注意，这些序列化格式中age的address许多格式都可以存储不可重复的随机结构化数据（事实上，除了 CSV 之外，所有格式都可以）。因此，在某种程度上，我是在根据最低公分母进行量身定制，这会影响结果。

在每个review部分中，1-3 之间的分数以红色突出显示，4-6 以橙色突出显示，6-10 以绿色突出显示。

CSV

CSV 非常适合以人类可读的格式存储大量表格数据。它不太适合存储对象或哈希表之类的数据结构（与本文介绍的所有其他序列化格式不同）。

CSV 的标准化程度并不高。RFC 4180曾试图将格式标准化，但“CSV”这个名称可能指的是由非逗号字符（如空格、制表符或分号）分隔的文件。事实上，它曾经被称为分隔符分隔值 (DSV)，尽管不幸的是，CSV 似乎是如今更流行的术语。分隔符之间的数据格式完全由用户定义（例如，没有指定定义日期的方式）。

CSV 格式允许可选的标题行作为文件的第一行出现。如果存在，它包含记录中每个值的字段名称。此标题行对于标记数据非常有用，几乎应该始终存在。

CSV 格式得到了很好的支持，几乎所有流行的编程语言都有 CSV 库。流行的pandasPython数据操作库Dataframe只需使用简单的一行命令即可将 CSV 直接读入数据表（称为）pd.read_csv('myfile.csv')。CSV 也是本页评论的唯一一种在 Excel 等电子表格程序中得到良好支持的序列化格式（它是唯一一种可以读入 Excel 的序列化格式，因为 CSV 强制使用表格结构）。

对于人类可读的格式，CSV 非常简洁（有关详细信息，请参阅文件大小部分）。但是，很难确定哪列是哪列，尤其是当有大量行（文件顶部只有一个标题列）、有大量列（没有要求列间距相等，因此您最终从左侧开始计算逗号）和/或如果有空字段（即,,）。

例子

id, name, age, address
4, Charmander, 12.34, Fire St
25, Pikachu, 56.78, Electric St

Review

JSON

JSON 是一种普遍存在的、可读的数据序列化格式，几乎所有流行的编程语言都支持该格式。JSON 的数据结构与许多语言中的常见对象非常相似，例如 Pythondict可以用 JSON 表示object，Python 也可以list用 JSON 表示array。请注意，这有一些注意事项！

需要注意的是，JSON 语法不支持注释！这可能是一件好事（但更多时候是件坏事）。对于读入软件并写回磁盘的大量数据，注释几乎毫无用处，因为它们在重新写入文件时不会被保留。如果您确实需要注释，常见的解决方法是添加名称comment/值对或类似于 JSON 对象的内容。JSON 对象的名称/值对中的名称始终必须是字符串。它也不支持任何类型的日期格式。

例子

[
    {
        "id": 4,
        "name": "Charmander",
        "age": 12.34,
        "address": "Fire Street"
    },
    {
        "id": 25,
        "name": "Pikachu",
        "age": 56.78,
        "address": "Electric Street"
    }
]

Review

协议缓冲区（Protobuf）

Protobuf 是 Google 开发的一种二进制序列化协议。由于它序列化为二进制，因此人类无法阅读（尽管在将文件视为 ASCII 文本时仍然可以挑选出字符串，请参见下面的示例）。

Protobuf 可以包含的数据类型定义明确，包括字符串、整数、浮点数和日期等常见类型。

例子

#^R^Charmander^Z^Fire Street%<A2>@
^A^R^Pikachu^Z^Electric Street%<F1>'OA

Review

TOML

TOML（Tom 的显而易见的极简语言）是一种较新的（相对于本评论中的其他语言而言）人类可读的序列化格式。它与 YAML 非常相似，因为它面向配置文件，但它力求成为更简单的格式（YAML 可能变得非常复杂，这可以从 YAML 解析时间慢得多中看出）。

TOML 有适用于 Atom、Visual Studio、Visual Studio Code 和其他 IDE 的语法高亮器。

在表达对象数组（在 TOML 中，即表格数组）时，TOML 的语法有些冗长。以下示例显示了这一点，数组中的每个 pokemon 对象都以 分隔[[pokemon]]。

[[pokemon]]
id = 4
name = "Charmander"
address = "Fire Street"
age = 12.34

[[pokemon]]
id = 25
name = "Pikachu"
address = "Electric Street"
age = 56.78

Review

XML

XML 是一种人类可读的序列化协议。众所周知的类 XML 格式是 HTML，它用于确定网页的结构。

XML 的一个缺点是冗长。它的描述性结束标记要求您重新输入要关闭的元素的名称，这增加了 XML 数据的字节数。

它标准化程度很高，有大量工具可用于生成 XML 并使用架构对其进行验证。XML 的规范可在https://www.w3.org/TR/xml/找到。

XML 同时支持标准（DOM 样式）解析器和流式（SAX 样式）解析器。

例子

<people>
    <person>
        <id>4</id>
        <name>Charmander</name>
        <age>12.34</age>
        <address>Fire St</address>
    </person>
    <person>
        <id>25</id>
        <name>Pikachu</name>
        <age>56.78</age>
        <address>Electric Street</address>
    </person>
</people>

Review

YAML（YAML 不是标记语言）

YAML 规范比 JSON 规范大得多。YAML 允许使用锚点 (`) 来表示关系数据（引用）。YAML 获得了一些额外的样式点，因为 YAML 主页甚至以 YAML 显示（https://yaml.org/）。

YAML 是 JSON 的严格超集，这意味着您可以使用 YAML 解析器解析 JSON（YAML 解析器可能需要更长时间，因此不要对大量 JSON 数据使用此技巧！）。

例子

- { id: 0, name: Charmander, age: 12.34, address: "Fire Street" }
- { id: 25, name: Pikachu, age: 56.78, address: "Electric Street" }

Review

速度比较（基准测试）

以下库用于速度比较测试：

image.png

所有 Python 测试均使用 Python v3.7。所有 C++ 测试均使用 C++17/GCC 编译器。测试在虚拟机内运行的 Debian 机器上运行。此测试的目的是展示不同序列化格式之间的相对性能，这些性能不应受到虚拟机内运行的影响。

为了代表序列化数据的使用方式，所有写入测试都传递了相同的输入数据，无论是对象vector（对于 C++ 测试）还是对象List（对于 Python 测试）Person。每个对象都Person包含一个 ID（从 0 开始的整数）、一个名称（5 个 ASCII 字符的随机字符串）、一个地址（30 个 ASCII 字符的随机字符串）和一个年龄（浮点数）。每个测试都需要将数据序列化为所需的格式（使用上面提到的库），然后将序列化的数据写入磁盘。所有读取测试都执行相反的任务，读取数据文件、反序列化并创建vector对象。List``Person

每个测试执行 3 次迭代，并选择其中最短的运行时间作为最具代表性的测试。较长的运行时间通常是由于操作系统执行了不应包含在这些运行时间中的无关任务。

ok

常用序列化格式中 10k 对象的 C++ 转换时间。

常用序列化格式中 10k 对象的 Python 转换时间。

常用序列化格式中 100k 个对象的 C++ 转换时间。

常用序列化格式中 100k 个对象的 Python 转换时间。

正如预期的那样，文件大小随着存储的记录数量线性增长（10 倍数据量 = 10 倍文件大小）。

常用序列化格式的比较文件大小。

未考虑的其他格式

• Apache Avro：Apache 的基于二进制的数据序列化标准。
• BSON . MongoDB 推广的一种基于 JSON 的二进制格式。
• CAN'N PROTO。“谷物化协议”……:-D。有关更多详细信息，请参阅其网站。
• JSON5 . JSON 的超集，允许使用多行字符串、注释、单引号字符串分隔符等。
• HOCON：一种在 Java 中流行的序列化格式。
• MessagePack。这看起来类似于 protobuf（使用二进制编码）。具有适用于多种语言的库。
• SDLang：一种类似 XML 的序列化格式（但没有尖括号），其库可在 .NET、Java、PHP、Ruby 和其他语言中使用。
• XDR（RFC4506）：外部数据表示（XDR）是一种常用但专业的（即普通开发人员不会日常使用此协议）序列化协议。