前言

本文旨在为初学者提供有关计算机字符编码的基础知识，以帮助他们初步理解计算机中字符编码的概念。鉴于我个人知识的限制，如有不准确之处，欢迎指正并提供建议。

一、什么是二进制

二进制是一种数字表示系统，它只使用两个数字：0和1。与十进制不同，它使用基数2，这意味着每个位置的数字的权值都是2的幂。在二进制中，数字的每一位表示一种状态，通常用于计算机内部的数据表示和处理。

以下是一些二进制数字示例以及它们在十进制中的对应值：

• 二进制的0和1分别表示十进制的0和1。
• 0（二进制）表示0（十进制）
• 1 （二进制）表示1（十进制），加1后。
• 10（二进制）表示2（十进制），这是因为在二进制中，当某一位达到1后，它会进位到下一位。
• 11（二进制）表示3（十进制），再加1后。
• 100（二进制）表示4（十进制），再次进位，依次类推。

简而言之，二进制是一种由0和1组成的数字系统，通过排列不同位置上的0和1来表示各种数字。这种系统在计算机内部非常常见，因为计算机使用开关状态来处理信息，其中0表示关闭或低电平，1表示打开或高电平，因此很适合用二进制来表示和操作数据。

二、为什么计算机采用二进制来表示数据

计算机采用了二进制来表示数据，主要是因为电子计算机的内部元件（例如晶体管和电路）可以轻松地表示和处理两种状态，即开和关，或者电平高和电平低。这些元件的工作方式使得二进制非常适合作为计算机的内部数据表示方法的几个原因：

• 电子开关：计算机内部使用的主要元件是电子开关，这些开关只有两种状态，打开和关闭。这与二进制的两个值（0和1）非常契合，因此计算机可以用非常简单的方式来表示和处理数据。

• 稳定性和可靠性：二进制状态更稳定，容易维护和判断。由于电子元件的物理特性，它们能够可靠地保持在开或关的状态，减少了数据传输和存储中的误差。

• 逻辑简单性：二进制非常适合逻辑运算。计算机中的许多操作都涉及到逻辑运算，例如AND、OR、NOT等。这些运算在二进制中非常直观和容易实现。

现在我们知道了，计算进它只能表示一堆由0或1组成的东西，那我们的“a、b、c、d”怎么办，它能表示的了么？

三、计算机怎么样表示文本

这时，我们的大美丽同学就跳出来说，这个还不简单，我们只要给每一个我们要用到的字符，分别给它们分配一个固定的0和1的组合体，以后大家都按这个标准来，不就解决了么。

她很快就给制作出来了这么一个对应规则。

1、ASCII码

这就是大名鼎鼎的ASCII码表：

好家伙，密密麻麻的，还真是什么都有。有些同学看了之后，不免以中就有一些疑惑了。

1）为什么这“二进制”那列，整整齐齐的都是8个0或1的组合？

当ASCII码被设计时，主要用途是在早期计算机和通信系统中传输文本字符。这种情况下，128个字符通常足够表示英语和一些其他常用语言的字符。因此，7位提供的字符范围正好足够。之所以写成8位，应该和“字节”有关，一个字节刚好是8位，在这里习惯性的把最高位补上0。

字节（byte）这个单位的起源可以追溯到早期计算机领域的发展历史。字节的定义和大小不是一开始就确定的，而是随着计算机技术的发展和标准化逐渐形成的。

以下是一些关于字节和为什么一字节通常被定义为8位的解释：

• 早期计算机架构：早期计算机使用了各种不同的数据结构和字长（一个字长是指一个计算机可以一次处理的二进制位数）。在这个时期，字节的大小并不是一个统一的标准。不同的计算机系统使用了不同大小的字节，如6位、7位或9位。

• 8位字节的普及：在计算机发展的早期阶段，一些计算机科学家和工程师开始推崇使用8位字节。这种设计选择有几个原因：

  • 8位字节提供了256个不同的组合，足够表示各种字符、数字、符号和控制字符，这对于字符编码来说是非常有用的。
  • 8位字节相对于其他大小的字节更容易在硬件上实现，因为它刚好是2的幂次方（2^3=8），这对于计算机设计来说更加简单和高效。

• 标准化：随着时间的推移，8位字节逐渐成为一种标准，并在计算机领域广泛普及。这种标准化有助于确保不同计算机系统之间的兼容性，同时也简化了数据交换和编程。

2）为什么表中还有一些奇怪的字符，例如回车、换行、退格等？

这些控制字符用于控制打印机、终端和通信设备的行为。这些字符不是可打印字符，但在通信和控制领域中非常重要。

3）按前面所说，“0000 0001”应该是表示1，那这表里的怎么又变成“0011 0001”表示1了呢？

您的观察是正确的，二进制中的 "0000 0001" 表示的确实是数字 1，但这不同于 ASCII 码中表示数字字符 "1" 的方式。ASCII 码使用 7 位二进制编码字符，而 "0011 0001" 是表示字符 "1" 的 ASCII 编码值。
比如“0100 0001”，你把它当二进制的数字看，它就是65，把它当字符看，它就是“A”，反正就是全凭你一张嘴，咋说咋有理。

4）那一列“十六进制”又是什么鬼？

十六进制也是一种数字表示系统，它使用16个不同的字符来表示数据，包括0-9和A-F。
我们观察一下其中一个二进制数，如：0111 0001，如果都要这么写确实不方便，再来看一下它对应的十六进制值：0x71（数字前带0x的都是十六进制），这样就好读也更方便书写。
从这不难看出，前面的四位0111刚好是0x7，后面的是0x1，四位的二进制刚好转换成1位的十六进制（2^4=16）。

所以选择使用十六进制的原因有：

• 紧凑性：十六进制表示方式比二进制更紧凑。在十六进制中，一个数字可以表示4个二进制位。这使得在处理和表示大量二进制数据时，十六进制更容易阅读和管理。特别是在编程和计算机内部数据处理方面，使用十六进制可以提高可读性。

• 易于转换：十六进制和二进制之间的转换非常容易。每个十六进制数字对应于4个二进制位，因此可以很容易地将十六进制数转换为二进制，反之亦然。这使得在编程和计算机领域中，可以轻松地在二进制和十六进制之间切换，以便于调试和数据处理。

5）那ASCII编码这么好，难道就没什么问题么？

• ASCII编码只使用7位二进制来表示字符，因此只能表示128个不同的字符。这足够用来表示英文字母、数字和一些基本符号，但对于其他语言的字符或特殊符号来说，就不够了。这对于国际化的计算机应用来说是一个巨大的问题，因为不同国家和地区使用不同的字符集。

为了解决ASCII编码的局限性，Unicode应运而生。

2、Unicode字符编码标准

Unicode（统一码）是一个国际标准，是一种字符编码标准，用于表示世界上几乎所有已知的书写系统的字符和符号。它的主要目的是为了解决不同字符编码标准之间的兼容性问题，确保文本在不同计算机系统、操作系统和编程语言之间能够正确地显示和交换。

在 Unicode 中，每个字符都被分配一个唯一的数字代码点，这个代码点可以用来表示该字符。Unicode 编码包括了各种语言中的字母、数字、标点符号、符号、特殊字符和控制字符等。它涵盖了世界上许多不同的语言，包括英语、中文、日语、阿拉伯语、希伯来语、俄语等等。

代码点（Code Points）： Unicode 中的每个字符都被分配一个唯一的代码点，这是一个用来标识字符的整数值。这个代码点通常以 U+ 开头，后面跟随一个表示十六进制数的数字，例如 U+0041 表示拉丁字母 "A"。Unicode 定义了一个代码点范围，从 U+0000 到 U+10FFFF。

• 那如此多的代码点，又是怎么划分区域（平面）的，每个区域又分别表示什么样的字符，看下图：

常用字符Unicode编码范围：

标准定好了，这下万事大吉了，不管什么字符，总能够有办法表示出来了，如果再有新的字符，大不了再多定义几个平面，码点多放几个字节就搞定了。

那标准有了，又要怎么使用呢？

3、Unicode 字符编码方案

1）UTF-16

UTF-16 使用16位（2字节）来编码这些字符，因此它足够表示 BMP 中的字符，但对于 BMP 之外的字符，UTF-16 需要使用额外的机制来处理。
最早出现的 UTF-16 并不是为了表示所有的 Unicode 字符，而是为了表示 Unicode 基本多文种平面（Basic Multilingual Plane，BMP）中的字符。BMP 包含了大多数常用的字符，包括拉丁字母、数字、标点符号、常见汉字等等。

特点：

• 兼容性： UTF-16 具有与 ASCII 和基本多文种平面（BMP）兼容的特点。ASCII 字符在 UTF-16 中使用单个16位编码表示，这使得 UTF-16 可以无缝处理包含 ASCII 字符的文本。

• 变长编码： UTF-16 是一种变长编码，大多数常用字符和 BMP 中的字符使用2个字节表示，而增补多文种平面（SMP）中的字符使用4个字节表示。这种设计在某些情况下可以节省存储空间，但也意味着编码单元的大小不固定。

• 支持大多数字符： UTF-16 能够表示大多数 Unicode 字符，包括各种语言的字符、符号和特殊符号。

不足：

• 变长编码： UTF-16 的变长编码特性意味着字符的编码单元大小不固定，这可能导致处理文本数据时的复杂性。对于 SMP 中的字符，需要额外的编码单元（代理对），这增加了处理的复杂性。

• 字节序问题： UTF-16 存在字节序问题，即字节序（Big Endian 或 Little Endian）可能影响文本的正确解释。这可能导致在不同系统之间或在网络传输中出现问题。

• 不适用于某些字符： 尽管 UTF-16 能够表示大多数字符，但仍然有一些字符，特别是一些辅助语言和古代文字字符，无法直接表示，需要使用组合或其他机制。

从上面不难看出，使用UTF-16的时候，不管表示什么字符，至少需要2个字节。那对于那些原本只要一个字节就能表示出来的字符来说，不管是在存储还是网络传输的时候都有不少的浪费，所以就出现了UTF-8。

2）UTF-8

UTF-8 是一种变长编码，它可以使用1到4个字节来表示不同的 Unicode 码点。对于大多数常用的字符，UTF-8 使用1到3个字节，只有少数罕见字符需要4个字节。这种编码方式节省了存储空间，并且适合在互联网和计算机系统中广泛使用。

UTF-8 的编码规则如下：

• 对于单字节的字符，字节的第一位设为 0，后面 7 位为其代码点。
• 对于 n 字节的符号（ n > 1），第一个字节的前 n 位都设为 1，第 n + 1 位设为 0，后面字节的前两位一律设为 10 。剩下的没有提及的二进制位，全部为为其代码点。

转换时，填充空位，从低位（右）至高位（左），高位上多余的0直接丢弃

• 示例

特点：

• 兼容性： UTF-8 兼容 ASCII，这意味着任何有效的 ASCII 文本都是有效的 UTF-8 文本。这种兼容性使得从 ASCII 过渡到 Unicode 变得无缝，并且已有的 ASCII 文本无需任何修改即可在 UTF-8 中使用。

• 变长编码： UTF-8 是一种变长编码方案，可以使用1到4个字节来表示不同的 Unicode 码点。这使得 UTF-8 非常节省存储空间，因为常用字符通常只需要1到3个字节。

• 全球支持： UTF-8 能够表示世界上几乎所有已知的语言的字符，包括拉丁字母、亚洲文字、希腊字母、西里尔字母、非洲字符等等。这使得 UTF-8 成为一种通用的字符编码方案，适用于全球范围内的文本处理。

• 互联网标准： UTF-8 是互联网上最常用的字符编码方案之一，几乎所有的现代网络通信协议和网页内容都使用 UTF-8 来表示文本数据。这有助于实现全球化和多语言支持。

• 适用性广泛： UTF-8 在各种操作系统、编程语言和应用程序中得到广泛支持，使得它成为开发者和用户的首选编码方案。

不足：

• 不适合固定大小的数据结构： 由于 UTF-8 是变长编码，它不适合用于某些需要固定大小数据结构的场景，如数据库表的字段、二进制文件格式等。在这些情况下，UTF-32 或其他固定大小编码可能更合适。

• 处理复杂字符需要额外计算： 对于 SMP（增补多文种平面）中的字符或 Emoji 表情符号，UTF-8 需要使用多个字节来表示，这可能需要额外的计算和处理，不如 UTF-32 那样直观。

• 不适合随机访问： 由于 UTF-8 是变长编码，要在文本中进行随机访问（如查找第 n 个字符）需要遍历整个文本，而 UTF-32 更适合这种操作。

• 编码和解码复杂性： UTF-8 的编码和解码算法相对复杂，需要额外的计算来确定字符的边界和编码单元的数量。这可能对某些性能敏感的应用产生一些开销。

3）UTF-32

UTF-32是Unicode字符集的一种完全统一的编码方案，每个字符都用32位（4字节）表示，这使得它可以容纳Unicode字符集中的任何字符。

特点：

• 固定长度编码：UTF-32采用固定长度的编码，每个字符都用相同数量的字节表示。这样的编码方案使得在处理文本时更加简单和高效，因为不需要像变长编码（如UTF-8和UTF-16）那样在字符之间查找分隔符。

• 简化文本处理：UTF-32编码在处理文本时具有一定的优势，特别是在需要快速随机访问字符的情况下。由于每个字符都占据相同数量的字节，可以轻松计算和索引字符的位置。

不足：

• 占用更多存储空间：UTF-32通常占用比UTF-8和UTF-16更多的存储空间，特别是对于包含大量ASCII字符的文本。
• 内存占用：对于大量文本数据，UTF-32需要更多的内存，可能不适用于内存受限的环境。
• 不适合网络传输：UTF-32的固定长度编码会增加网络传输的数据量。

结束

当然，除了上述提到的字符编码方案，世界上还存在着众多其他编码标准，涵盖了各种语言和地区的需求。例如，中文有GB2312、GBK、GB18030、Big5等多种编码方案，而Latin-1等字符编码则是一种局限于特定语言或地区的标准。有机会我们将继续探讨这些编码标准，以便更好地理解它们的起源、应用和发展历程。感谢大家的支持与关注！