字符编码史话

标准ASCII 码也叫基础ASCII码，使用7 位二进制数（剩下的1位二进制为0）来表示所有的大写和小写字母，数字0 到9、标点符号，以及在美式英语中使用的特殊控制字符。

其中：

0～31及127(共33个)是控制字符或通信专用字符（其余为可显示字符），如控制符：LF（换行）、CR（回车）、FF（换页）、DEL（删除）、BS（退格)、BEL（响铃）等；通信专用字符：SOH（文头）、EOT（文尾）、ACK（确认）等；ASCII值为8、9、10 和13 分别转换为退格、制表、换行和回车字符。它们并没有特定的图形显示，但会依不同的应用程序，而对文本显示有不同的影响  。 

32～126(共95个)是字符(32是空格），其中48～57为0到9十个阿拉伯数字。65～90为26个大写英文字母，

97～122号为26个小写英文字母，其余为一些标点符号、运算符号等。

百度百科

此字符集支持部分于欧洲使用的语言，包括阿尔巴尼亚语、巴斯克语、布列塔尼语、加泰罗尼亚语、丹麦语、荷兰语、法罗语、弗里西语、加利西亚语、德语、格陵兰语、冰岛语、爱尔兰盖尔语、意大利语、拉丁语、卢森堡语、挪威语、葡萄牙语、里托罗曼斯语、苏格兰盖尔语、西班牙语及瑞典语。

百度百科

《信息交换用汉字编码字符集》是由中国国家标准总局1980年发布，1981年5月1日开始实施的一套国家标准，标准号是GB 2312—1980。

GB2312编码适用于汉字处理和汉字信息交互等，一般在大陆使用，新加坡也用这套编码。

GB2312编码基本集收入汉字6763个汉字和682个非汉字图形字符。而整个字符集分94个区，每个区又分94个位，每个区位只有一个字符，于是，这种用区和位来对汉字编码，称为区位码。

例如，“啊”字是GB2312之中的第一个汉字，它的区位码就是1601。

同理，可以从表中找到“白”字的区位码是1655。

注意，以上讲的是区位码，下面将字符的编码。

在使用GB2312的程序中，通常采用EUC储存方法，以便兼容于ASCII。浏览器编码表上的“GB2312”，通常都是指“EUC-CN”表示法。 

每个汉字及符号以两个字节来表示。第一个字节称为“高位字节”（也称“区字节）”，第二个字节称为“低位字节”（也称“位字节”）。 

“高位字节”使用了0xA1-0xF7(把01-87区的区号加上0xA0)，“低位字节”使用了0xA1-0xFE(把01-94加上 0xA0)。 由于一级汉字从16区起始，汉字区的“高位字节”的范围是0xB0-0xF7，“低位字节”的范围是0xA1-0xFE，占用的码位是 72*94=6768。其中有5个空位是D7FA-D7FE。

那么，这个“啊”字的编码是什么？两个字节，0xB0（第一个字节） 0xA1（第二个字节）储存。区位码=区字节+位字节（与区位码对比：0xB0=0xA0+16,0xA1=0xA0+1）。理解了吧！或者干脆别算了，查表呗。

（完整的表格建议自行在网上查阅）

4. GBK

浩瀚的中华文化肯定不止这六七千字啊，况且还有繁体字呢。于是，一个叫GBK的字符编码标准就横空出世了。

GBK全称《汉字内码扩展规范》（GBK即“国标”、“扩展”汉语拼音的第一个字母，英文名称：Chinese Internal Code Specification） ，中华人民共和国全国信息技术标准化技术委员会1995年12月1日制订。

GBK是向下于GB2312兼容的。

GBK编码，是在GB2312-80标准基础上的内码扩展规范，使用了双字节编码方案，其编码范围从8140至FEFE（剔除xx7F），共23940个码位，共收录了21003个汉字，完全兼容GB2312-80标准，支持国际标准ISO/IEC10646-1和国家标准GB13000-1中的全部中日韩汉字，并包含了BIG5编码中的所有汉字。GBK编码方案于1995年10月制定， 1995年12月正式发布，中文版的WIN95、WIN98、WINDOWS NT以及WINDOWS 2000、WINDOWS XP、WIN 7等都支持GBK编码方案。

GBK编码中的汉字和字符是非常全面的了。

GBK 规范收录了 ISO 10646.1 中的全部 CJK 汉字和符号，并有所补充。具体包括：

1. GB 2312 中的全部汉字、非汉字符号。

2. GB 13000.1 中的其他 CJK 汉字。以上合计 20902 个 GB 化汉字。

3. 《简化字总表》中未收入 GB 13000.1 的 52 个汉字。

4. 《康熙字典》及《辞海》中未收入 GB 13000.1 的 28 个部首及重要构件。

5. 13 个汉字结构符。

6. BIG-5 中未被 GB 2312 收入、但存在于 GB 13000.1 中的 139 个图形符号。

7. GB 12345 增补的 6 个拼音符号。

8. 汉字“○”。

9. GB 12345 增补的 19 个竖排标点符号（GB 12345 较 GB 2312 增补竖排标点符号 29 个，其中 10 个未被 GB 13000.1 收入，故 GBK 亦不收）。

10. 从 GB 13000.1 的 CJK 兼容区挑选出的 21 个汉字。

11. GB 13000.1 收入的 31 个 IBM OS/2 专用符号。

12. 未录入《新华字典》上的一些字，如“韡”的简体。

5. GB18030

那么，GB18030又是什么编码标准？

国家标准GB18030-2000《信息交换用汉字编码字符集基本集的补充》是我国继GB2312-1980和GB13000-1993之后最重要的汉字编码标准，是我国计算机系统必须遵循的基础性标准之一。

其实，你可以简单理解为是GBK的升级版。

GB 18030主要有以下特点 ：

• 采用变长多字节编码，每个字可以由1个、2个或4个字节组成。

• 编码空间庞大，最多可定义161万个字符。

• 完全支持Unicode，无需动用造字区即可支持中国国内少数民族文字、中日韩和繁体汉字以及emoji等字符。

Big5虽普及于台湾、香港与澳门等繁体中文通行区，但长期以来并非当地的国家/地区标准或官方标准，而只是业界标准。倚天中文系统、Windows繁体中文版等主要系统的字符集都是以Big5为基准，但厂商又各自增加不同的造字与造字区，派生成多种不同版本。

2003年，Big5收录到CNS11643中文标准交换码的附录当中，获取了较正式的地位。这个最新版本称为Big5-2003。

包含字符：

共收录13,060个汉字及441个符号

编码方式：

用两个字节来为每个字符编码，第一个字节称为“高位字节”，第二个字节称为“低位字节”

各国为了在计算机字符编码里面争夺自己国家的语言字符高地，谁也不让着谁，在发展自己的字符编码时也没打算兼容其他的字符编码。看起来，有些混乱了，我想看下你的新闻，还得安装下你的文字系统，这全球化发展还怎么进行呢？
于是，一个叫ISO的组织还是出手了，他们是直截了当地干，不管你地方性的字符编码，我要重新定义一套，包含全球的所有文化文字、符合等，还给这种方案起了个名字叫Universal Multiple-Octet Coded Character Set，简称UCS，俗称UNICODE。
所以，这个UNICODE是为了解决传统的字符编码方案的局限而产生的，它为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。
话说的这么好听，UNICODE是怎么搞的呢？ISO着手搞这个UNICODE的时候是1990年的事了，内存发展已经有些长进了，用起来也没以前抠门了。于是这个UNICODE就被定义成两个字节表示一个字符，通通的两个字节啊，连ASCII都不放过，也是用两个字节。但是，对于ASCII这些原来用一个字节表示的字符，UNICODE保持其原来编码不变，只是将其扩展成两个字节而已，即在高字节补0。
这个UCS就是ISO定义的ISO 10646标准了，注意啊，UCS还不满足两个字节的，还有四个字节的，两个字节表示的叫UCS-2，四个字节的叫UCS-4。
那么这个UNICODE是怎么定义和分类字符的呢？看下面这个列表：

看起来好像很美好，问题还是存在的。计算机怎么知道几个字节表示一个字符呢？（注意字符和字节的概念啊），还有啊，ASCII就一个字节，你弄到UNICODE来表示却要两个字节，多浪费啊，至少欧美这种英文只用ASCII的国家不喜欢这套东西吧。

UTF-8编码规则：如果只有一个字节则其最高二进制位为0；如果是多字节，其第一个字节从最高位开始，连续的二进制位值为1的个数决定了其编码的字节数，其余各字节均以10开头。

UTF-8转换表表示如下

8. 后话

就这样讲完了？No！

Codepage是啥？

网页乱码是怎么回事？

什么是UTF-8的BOM？

UCS-2的Bid End和Little End？

UTF-8、UTF-16、UTF-32，GBK，Big5等等怎么转换？

iconv玩过吗？

什么CJK统一汉字？

汉字进入信息时代后发展前景怎样？

……

篇幅太长了，统统下回分解！

字符编码的前世今生