字符编码和开发
信息传递
蚂蚁使用触角获取信息素来得到食物在哪里的信息，士兵使用在烽火台上释放狼烟来告诉后方发生了军情信息，信息的载体各种各样，由于载体的特性限制，信息必须从一种形式转换为另外一种形式才能使用载体，也就是所谓“编码”过程，而“解码”就是“编码”的逆向过程。
字符编码集
文字的出现标志着人类进入了文明时代，而模拟时代到数字时代的进化，所有的信息都需要以数字形式才能进行存储和传播。美国人发明了计算机，当然他们会先解决自己的字符处理问题，就有了ASCII, 如下：
这是一张二维表，对于英语的二十六个拉丁字母和阿拉伯数字以及一些符号，可以通过查表快捷的转换为一个字节长度的二进制序列，这就是一个字符编码集，用于描述抽象字符集和相应的编码规则，这里说下几个概念：
- Abstract Character, 抽象字符：抽象字符是指一个抽象的文字，而不是具体的字形，在计算机里字符和字形是不同模块来实现完成的。
- Code Point, 码点: 就是一个字符对应的唯一编号，ASCII中的字符‘A’对应的码点就是65。
- Code Unit: 编码使用的最短字节单元，ASCII为一个字节。
- Code Space, 码点空间:字符编码集中所有的码点集合，ASCII为0x00-0xFF。
虽然ASCII解决了美国人的文字问题，其他国家和地区怎么办呢？为了软件实现本地化，每个国家和地区收集自己的字符集，制定了各自的字符编码集，比如GB2312(简体中文)， Big5(繁体中文)， Shift_JIS(日文)，Euc-kr(韩文), 这样软件就可以在这些国家进行本地化显示，但是字符编码集的多样性带来了不少问题：
- 没有哪种字符编码集可以覆盖全球所有国家和地区
- 各种字符集之间有冲突，同一个编码在不同的字符编码集中代表不同的字符，或者，不同编码在不同字符编码集中代表相同字符。
- 各种字符集之间转换会出现乱码问题
这时候国际化机构开始出手了，国际电工委员会和国际化标准组织从1985年开始制定并扩展了ISO/IEC 8859这个标准，总共定义了15个8位元的字符编码集，后来进一步制定了ISO/IEC 10646标准，与此同时，由苹果，微软，IBM等商业巨头组成的统一码联盟也在积极制定Unicode标准，由于世界只需要一个大一统的标准，在两个组织知道对方的存在后，携手同行，相互兼容，实际上却是两个标准。
统一码联盟在1991年首次发布了统一码标准, 该标准由核心规范，Unicode标准，代码图，Unicode标准附件以及Unicode字符数据库组成，作为全球统一标准，加上计算机企业巨头的推进，Unicode成为计算机工业中字符的主流标准。最新版本为12.1.0
至于我们关心的简体中文，我国根据Unicode标准发布自己的简体中文字符集，1993年发布了GB13000.1-93, 等同于Unicode1.1, 1995年发布了GBK，把涵盖的汉字和图形符号增加到21003个，2000年推出GB18030-2000来替换掉了GBK，因为GBK只是全国信息技术标准化委员会发布的一个技术规范，而不是标准。
Unicode字符集和Unicode字符编码
统一码标准覆盖很多规范，我们这里仅针对Unicode字符集和编码实现方式进行讲解。
Unicode字符集旨在收集全球所有国家和地区的字符，并每一个字符分配一个唯一ID，这个ID也就是我们前面提到的码点。为了让高频度使用的字符更加快速能够编码和解码，Unicode将Code Space划分为17个平面，编号0-16，把高频字符都放在0平面，成为基本多语言平面，其他称为增补平面。
字符编码是把码点转换为使用的二进制序列，实现方式可以由很多，UTF-8, UTF-16和UTF-32是Unicode标准定义的几种编码实现方式，其中UTF的全称是Unicode Transformation Format, 统一码转换格式。
UTF-8
- 使用8位长的码元
- 可变长度编码，需要是1～4个码元来表示
- 兼容ASCII，成为广泛支持的主流编码方式
- 通过首字节来确认编码使用的字节长度
- 首字节以0开头，表示单字节编码
- 首字节以110开头，表示双字节编码
- 首字节以1110开头，表示三字节编码
- 首字节以11110开头，表示四字节编码
- 无字节序
UTF-16
- 使用16位长的码元
- 可变长度，需要1～2个码元来来表示
- 最早使用的Unicode编码方式
- 源于UCS-2, 因为UCS-2直接将CodePoint映射为字符编码，导致UCS-2只能覆盖BMP, UTF-16通过代理机制解决了UCS-2这个问题
- 有字节序
UTF-32
- 固定编码，使用四个字节编码
- Unicode字符和Code Unit之间是一一映射的关系
- 有字节序
- 固定长度，处理方便
- UCS-4编码机制的子集
- 有字节序
iconv & libiconv
虽然有了Unicode这个大一统的标准，但是已经存在的编码方式早已蔓延在各个领域，所以字符编码的转换也是常见的工作，iconv这个命令可以完成编码转换的事情。
iconv [OPTION...] [-f encoding] [-t encoding] [inputfile ...]
默认是输出到标准输出终端的，可以使用'>'重定向保存输出到文件中。iconv几乎覆盖了所有的字符编码集的支持。
如果需要编程开发，则使用libiconv库的api来完成
#include <iconv.h>
iconv_t iconv_open (const char* tocode, const char* fromcode);
size_t iconv (iconv_t cd,
char **restrict inbuf, size_t *restrict inbytesleft,
char **restrict outbuf, size_t *restrict outbytesleft);
int iconv_close (iconv_t cd);
中英文对照表
- 抽象字符， Abstract character
- 码点，Code Point
- 码元，Code Unit
- 码点空间，Code Space
- 美国标准编码信息交换，ASCII, American Standard Code Information Interchange
- 国际电工委员会，IEC, International Electrotechnical Commission
- 国际标准化组织，ISO，International Organization for Standardization
- 统一码联盟，Unicode Consortium
- 统一码标准，The Unicode Standard
- 基本多语言平面，BMP, Basic Multillingual Plane
- 增补多语言平面，SMP, Supplementary Multillingual Plane
- 增补象形平面， Supplementary Ideographic Plane
