汉字的HASH问题
Unicode/UTF-8/GBK/GB2313的区别和联系(来自百度百科)
ASCII码
文本编码方式的基础是ASCII码，它是一个7位的编码标准，包括26个小写字母、26个大写字母、10个数字、32个符号、33个控制代码和一个空格，共128个代码。由于计算机通常采用“字节”为单位存储和交换数据信息，因此很多计算机厂家对ASCII码进行了扩充，在原来的基础上又增加了128个附加字符，如ANSI、UNICODE等字符集。
UNICODE
对于英文来讲，ASCII码就足以编码所有字符，但对于中文，则必须使用两个字节来代表一个汉字，这种表示汉字的方式习惯上称为双字节。虽然双字节可以解决中英文字符混合使用的情况，但对于不同字符系统而言，就要经过字符码转换，非常麻烦，如中英、中日、日韩混合的情况。为解决这一问题，很多公司联合起来制定了一套可以适用于全世界所有国家的字符码，不管是东方文字还是西方文字，一律用两个字节来表示，这就是UNICODE。
- 1 我们常说的
GB2312或者GBK编码都是属于ANSI编码, 但是相同的二进制在不同的语言中完全不一样 - 2 UNICODE是规定了字符集的二进制实现, 实际的存储方式因为平台的原因实现有
UTF-8或者UTF-16等.
汉字有多少个字节
- 1 ANSI编码方式, 不管是
GB2313或者GBK或者说外语的JS除英文外都是两个字节 - 2 UTF-8是变长的存储方式
1-4个字节,一个字节的第一位是0，则这个字节单独就是一个字符; 如果第一位是1，则连续有多少个1，就表示当前字符占用多少个字节(相对于Unicode编号进行了再编码) - 3 UTF-32始终采用四字节, UTF-16使用2或者4字节
说明: 我们如果编程时设计到中英文, 考虑的编码大多指的时GB2313或者GBK或者UTF-8三种, 其他的暂不做研究
汉字的HASH方式
GB2313和GBK
GB2313
GBindex = ((unsigned char)GBword.at(0)-176)*94 + (unsigned char)GBword.at(1) - 161;
GBK:
GBKindex = ((unsigned char)GBKword[0]-129)*190 + ((unsigned char)GBKword[1]-64) - (unsigned char)GBKword[1]/128;
算法说明
- 1 汉字规定: ASCII第一个字节必然时0, 而汉字的第一个字节必然大于1
| 名称 | 高字节 | 低字节 |
|---|---|---|
| GB2313 | 0xB0-0xF7(176-247) | 0xA1-0xFE(160-254) |
| GBK | 0x81-0xFE(129-254) | 0x40-0xFE(64-254) |
- 2 标准的汉字编码表
在标准的汉字编码表中有94行、94列。其行号称为区号，列号称为位号。
GB2312 80（又称为国标码）中共有7445个字符符号： 汉字符号6763个 一级汉字3755个（按汉语拼音字母顺序排列） 二级汉字3008个（按部首笔划顺序排列） 非汉字符号682个 GB2312 80规定，所有的国标码汉字及符号组成一个94 94的方阵。在此方阵中，每一行称为一个"区"，每一列称为一个"位"。这个方阵实际上组成一个有94个区（编号由01到94），每个区有94个位（编号 由01到94）的汉字字符集。 一个汉字所在的区号和位号的组合就构成了该汉字的"区位码"。其中，高两位为区号，低两位为位号。这样区位码可以唯一地确定某一汉字或字符；反之，任何一 个汉字或符号都对应一个唯一的区位码，没有重码。
注意:这是网上的说法, 但是我们可以不用在意; 对于GB2313来说以高字节和低字节总成一个方针, 这个方阵共有94列.
说到这里应该就明白了, GB2313的HASH方式了吧, 总共94*94个, 每个汉字对应到一个; 上述GB2323的方式, 就是很简单的行*94+列一一对应.
而对于GBK的方式也是一样的, 只不过GBK少了0x7F这一列, 那么如果超过127(128以后的应当减去1, 才是真正的列数).
UTF-8规律
字节数|格式|范围
:--|:|:--
1字节|0xxxxxxx|[0,127]
2字节|110xxxxx 10xxxxxx|[0xC0,0xDF],[0x80,0xBF]
3字节|1110xxxx 10xxxxxx 10xxxxxx|[0xE0,0xEF],[0x80,0xBF],[0x80,0xBF]
4字节|11110xxx 10xxxxxx 10xxxxxx 10xxxxxx|[0xF0,0XF7],[0x80,0xBF],[0x80,0xBF],[0X80,0XBF]
结论:从这个范围来说, 我们是无法分别一个字符串是ANSI还是UTF-8类型的(二字节有重合); 如果有人知道. 还请说明指教.
UTF-16规律
对于 Unicode 编号范围在 0 ~ FFFF 之间的字符，UTF-16 使用两个字节存储，并且直接存储 Unicode 编号，不用进行编码转换，这跟 UTF-32相同(UTF-32使用四字节不进行编码转换)。
对于 Unicode 编号范围在10000~10FFFF之间的字符, UTF-16使用四个字节存储，具体来说就是: 将字符编号的所有比特位分成两部分,
较高的一些比特位用一个值介于: D800~DBFF之间的双字节存储，较低的一些比特位(剩下的比特位)用一个值介于 DC00~DFFF
之间的双字节存储.
编码范围|二进制|UTF-16
:--|:|:--
0000 0000 ~ 0000 FFFF|xxxxxxxx xxxxxxxx|xxxxxxxx xxxxxxxx
0000 0000 ~ 0000 FFFF|yyyy yyyy yyxx xxxx xxxx|110110yy yyyyyyyy 110111xx xxxxxxxx
可以看到处于[0xD800,0xDBFF],[0xDC00,0xDFFF]范围内. 但就字节而言, 我们无法判断是UTF-8还是UTF-16的编码.
