asfman
android developer
posts - 90,  comments - 213,  trackbacks - 0

大话字符编码

     字符编码这个东西实在是头疼,一会儿是 ISO5589-1 ,一会儿是 GB2312 ,一会儿又是 UTF-8 60 %以上的程序员对这个东西稀里糊涂,这几天好好梳理了一下,把自己的心得分享给大家。

    首先,我们来明确一些概念:

字符: 它是抽象的最小文本单位。字符就是对某种意义的图画表示,或者说形状表示。 “A” 是一个字符, “¥” 也是一个字符。

 

字符集: 字符的集合。比如汉字字符集,拉丁字符集,全人类所有的字符的集合。

 

编码字符集: 也就是一个字符集的编码形式,它为每一个字符分配一个唯一数字。

在没有包含全人类的字符编码集出来之前,各个国家都是你编你的,我编我的,也就出现了西欧语言(又叫 Latin-1 )编码字符集( ISO 8859-1 ),中文编码字符集( GB2312/BIG5/GBK/GB18030 ),日文编码字符集, CJK 中日韩统一编码字符集等等。

这样可不行,得有对全人类字符的统一考虑才行,也就是我们通常说的国际化考虑,英文是 Internationalization ,这个单词可够长的,于是就简写做 i18n ,表示 i 开头 n 结尾的 18 个字母的单词。

为了 i18n ,于是出现了两个针对全人类所有字符的编码字符集,一个是 UCS Universal Character Set ,它是国际标准化组织弄出来的,也就是 ISO/IEC 10646

另一个是 Unicode Universal Code Unicode 同时也是一个联盟的名字,也就是 HP Microsoft IBM Apple 等几家知名的大型计算企业所组成的联盟集团,他们为了推进多种文种的统一编码而制定出了 Unicode (通常我们说 Unicode 指的是 UTF-16 )。

这两个组织同时干了同一件事,就是给全人类的字符进行编码,这可不是一件好事,想当年巴比伦塔就是因为上帝搞乱了俺们人类的语言才没有建成的,所以在 91 年的时候,国际标准化组织做了让步,将 Unicode UCS 进行统一,(也就是把 Unicode 并为 ISO10646 的第一个字面 BMP ,这个我们后面再讲)。

所以,实际上,现在的情况是:全人类现有所有字符是 Unicode 的一个子集,而 Unicode 又是 UCS 的一个子集。

 

代码点: 是指可用于编码字符集的数字。编码字符集定义一个有效的代码点范围,但是并不一定将字符分配给所有这些代码点(哪有那么多字符啊?呵呵)。

有效的 UCS 的代码点范围是 0~2 31 次方。

有效的 Unicode 代码点范围是 U+0000 U+10FFFF Unicode 标准始终使用十六进制数字,而且在书写时在前面加上前缀 “U+” ,比如 “A” 的编码书写为 “U+0041”

 

字符编码方案: 是从一个或多个编码字符集到一个或多个固定宽度代码单元序列的映射。最常用的代码单元是字节,但是 16 位或 32 位整数也可用于内部处理。

ISO 10646 就是 UCS 的字符编码方案。

UTF-32 UTF-16 UTF-8 Unicode 标准的编码字符集的字符编码方案。

前面说的 ISO 8859-1 GB2312/BIG5/GBK/GB18030 CJK 等,都是某种语言的字符编码方案。而不考虑语言的统一方案必定是 ISO10646 或者 UTF-32 UTF-16 UTF-8 中的一种。

 

好了,有了这些概念,下面我可以来具体的讲讲 ISO 10646 Unicode 的编码方案了。

ISO/IEC 10646 :它采用 4 个字节来表示一个字符,实际使用的是 31 bit ,采用十六进制全编码表示。

总体结构是一个四维的编码空间,先将所有的代码点分为 128 个三维组( group ),每一组包含 256 个平面 (plane) ,每一个平面包含 256 (row) ,每一行包含 256 个字位 (cell) ,又称谓“列”。其中 group 的值范围是从 00 7F plane row cell 的值范围都是从 00 FF 全编码。整个编码字符集的每个字符都是由 4 个八位序列表示,按照组八位、面八位、行八位、列八位的顺序,具体表示如下:

 

Group-octet

  组八位

 Plane-octet

  平面八位

 Row-octet

  行八位

 Cell-octet

  字位八位

 

ISO/IEC 10646 将其第一个平面( 00 组中的 00 平面)称作 Basic Multilingual Plane( 基本多文种平面 ) ,简称 BMP 。人类对 BMP 中的 256×256=65536 个字符的使用频率超过 99.9% ,这就使得人们对 BMP 格外青睐。 ISO/IEC 10646 规定 BMP 上的字符可以作为双八位编码字符集使用,即:在此平面上仅用行、列两个八位就可以表示一个编码字符。

按照行可以将 BMP 中的代码点分为下面四个区域:

A- Zone 00 4D 行)为拼音文字编码区,拉丁文、阿拉伯文、日文的平假名及片假名、数学符号等等都在此区域编码。一句话,除了汉字以外,目前世界上已规范的文种都在此区域编码。

I- Zone 4E 9F 行)为表意文字编码区,我们将其称作汉字区,通常人们所说的 CJK 统一编码汉字就放在这个区域,从 4E00 9FA5 20902 个编码汉字。

O- Zone A0 DF 行)是一个开放区域,未作定义,留作扩展用。(其中的 D8 DF 行为 UTF-16 的代理区,后面再讲。)

R- Zone E0 FF 行)为限制使用区,一些兼容字符、字符的变形显现形式、特殊字符等均放在此区。

韩文在 1993 年的 ISO/IEC 10646-1 中属于 A –Zone 34 4D 行,但后来由于扩充的需要被迁徙到 O- Zone AC D7 44 行( 44X256=11264 );而原来的 34 4D 行被如下分配:

CJK 扩充集 A       3400 4DB5

⒉康熙字典 214 部首    2F00 2FD5

CJK 部首扩充        2E80 2EF3

⒋汉字结构符           2FF0 2FF8

⒌藏文                 0F00 0FCF

⒍彝文                 A000 A4C6

⒎蒙文                 1800 18A9

 

UTF-16 :也就是我们通常所说的 Unicode 编码,它用 2 个字节或者 4 个字节来表示一个字符。

前面说了,国际标准化组织和 Unicode 的合并是把 Unicode 并为 ISO10646 的第一个字面 BMP ,也就是说 Unicode 中代码点在 U+0000 U+FFFF 间的字符和 BMP 中的完全一样。也就是说, BMP 中的字符,在 UFT-16 中是用 2 个字节来表示的。

Unicode 的代码点范围是 U+0000 U+10FFFF ,所以我们把 Unicode 代码点在 U+10000 U+10FFFF 范围之间的字符称为增补字符。但增补字符在 Unicode 编码( UFT-16 )中怎么表示呢?

前面讲到,在 BMP 中定义了一个代理区( Surrogate Zone (D800 DFFF), 这个区域内没有定义任何的字符或符号。将这个区域平分为前后两个各容纳 1024 1K )个编码的区域( D800-DBFF DC00-DFFF ),分别称作高半代理( high surrogate )及低半代理( low surrogate )区域。从这两个区域分别各取一个编码,由这两个编码组合成一个 4 bytes 代理对( surrogate pair )来表示一个编码字符,而且只有将这两个代理对( surrogate pair )结合在一起才能表示一个字符,单独使用其中的任何一个都没有意义。

高低半字符的编码位置各为 1,024 4×256 ,因此 UTF-16 总计可提供( 4×256 × 4×256 )= 16×65536 个编码位置,亦即 16 个字面,也就是 U+0000 U+10FFFF 。对 BMP 而言,当然无需使用 UTF-16 转码,所以 UTF-16 的转码主要应用于 ISO10646 的第 1 ~第 14 字面(第 15 字面为专用字面),也就是说只有第 1 ~第 14 字面的字符才需要两个 UTF-16 编码来表示,即 4 个字节表示一个增补字符。

从上面的分析我们看到,用 2 个字节的 Unicode 就可以表示使用频率超过 99.9% BMP 中的字符了。但现实的情况是,现在的计算机和网络中主要使用的字符绝大多数属于 ASCII 字符集,也就是基本拉丁字符集( U+0000 U+007F )的 127 个字符。针对这种情况, Unicode 组织特别设计了 UTF-8 编码。

 

UTF-8 :使用 1 4 个字节的序列对 Unicode 代码点进行编码。

U+0000 U+007F 使用 1 个字节编码, U+0080 U+07FF 使用 2 个字节, U+0800 U+FFFF 使用 3 个字节,而 U+10000 U+10FFFF (增补字符) 使用 4 个字节。编码规则如下:

U+0000  – U+007F:

0xxxxxxx

U+0080  – U+07FF:

110xxxxx 10xxxxxx

U+0800  – U+FFFF:

1110xxxx 10xxxxxx 10xxxxxx

U+10000 – U+10FFFF:

11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

 

Java modified UTF-8

Java 内部对 UTF-8 进行了一定修改,这样,它和标准 UTF-8 编码就在一定程度上不能兼容了,原因有两点:

1 、经修订的 UTF-8 将字符 U+0000 表示为双字节序列 0xC0 0x80 ,而标准 UTF-8 使用单字节值 0x0

2 、经修订的 UTF-8 通过对其 UTF-16 表示法的两个代理代码单元单独进行编码来表示增补字符。每个代理代码单元由三个字节来表示,这样,经修改的 UTF-8 就需要 6 个字节来表示一个增补字符,而标准 UTF-8 使用 4 个字节序列表示一个增补字符。

Java java.io.DataInput DataOutput 接口和类中使用经修订的 UTF-8 实现。而标准 UTF-8 String 类、 java.io.InputStreamReader OutputStreamWriter 类、 java.nio.charset 以及许多其上层的 API 提供支持。

这可真是个大陷阱哪,虽然用到增补字符的机会不多,但 U+0000 却是经常使用的,用 Java 做开发的同志们一定要注意了!

Tip :在 Linux 中,可以用 od –x FileName 或者 hexdump FileName 这样的命令来输出文件的 16 进制形式,这样就可以看到 U+0000 之类的不可打印字符了, :)

 

UTF-32 :即将每一个 Unicode 代码点表示为相同值的 32 位整数。很明显,它是内部处理最方便的表达方式,但是,如果作为一般字符串表达方式,则要消耗更多的内存。所以实际上它只有存在的意义,而没有实用的意义,没有哪个傻瓜会真的去做 UTF-32 编码。

 

通过这些介绍,相信大家对编码的相关概念和 i18n 问题、 ISO 10646 BMP Unicode 及其 3 种编码方式有了一个大概的了解,至少以后再看到一些奇怪的编码代号应该不会茫茫然而不知所措了。

另外,在 Linux /usr/share/i18n/charmaps/ 目录下有一些压缩包,存的就是各种编码方案对应的编码和 Unicode 代码点的对应,需要的时候可以参考。

欢迎指正,讨论和转载,:)

                               

posted on 2006-08-07 13:30 汪杰 阅读(628) 评论(2)  编辑 收藏 引用

FeedBack:
# re: 大话字符编码(zt)
2006-08-07 13:31 | 汪杰
谈谈Unicode编码,简要解释UCS、UTF、BMP、BOM等名词
谈谈Unicode编码,简要解释UCS、UTF、BMP、BOM等名词
作者: 伐木丁丁鸟鸣嘤嘤 fmddlmyy.home4u.china.com

这是一篇程序员写给程序员的趣味读物。所谓趣味是指可以比较轻松地了解一些原来不清楚的概念,增进知识,类似于打RPG游戏的升级。整理这篇文章的动机是两个问题:

问题一:
使用Windows记事本的“另存为”,可以在GBK、Unicode、Unicode big endian和UTF-8这几种编码方式间相互转换。同样是txt文件,Windows是怎样识别编码方式的呢?

我很早前就发现Unicode、Unicode big endian和UTF-8编码的txt文件的开头会多出几个字节,分别是FF、FE(Unicode),FE、FF(Unicode big endian),EF、BB、BF(UTF-8)。但这些标记是基于什么标准呢?

问题二: 最近在网上看到一个ConvertUTF.c,实现了UTF-32、UTF-16和UTF-8这三种编码方式的相互转换。对于Unicode(UCS2)、GBK、UTF-8这些编码方式,我原来就了解。但这个程序让我有些糊涂,想不起来UTF-16和UCS2有什么关系。
查了查相关资料,总算将这些问题弄清楚了,顺带也了解了一些Unicode的细节。写成一篇文章,送给有过类似疑问的朋友。本文在写作时尽量做到通俗易懂,但要求读者知道什么是字节,什么是十六进制。

0、big endian和little endian
big endian和little endian是CPU处理多字节数的不同方式。例如“汉”字的Unicode编码是6C49。那么写到文件里时,究竟是将6C写在前面,还是将49写在前面?如果将6C写在前面,就是big endian。如果将49写在前面,就是little endian。

“endian”这个词出自《格列佛游记》。小人国的内战就源于吃鸡蛋时是究竟从大头(Big-Endian)敲开还是从小头(Little-Endian)敲开,由此曾发生过六次叛乱,一个皇帝送了命,另一个丢了王位。

我们一般将endian翻译成“字节序”,将big endian和little endian称作“大尾”和“小尾”。

1、字符编码、内码,顺带介绍汉字编码
字符必须编码后才能被计算机处理。计算机使用的缺省编码方式就是计算机的内码。早期的计算机使用7位的ASCII编码,为了处理汉字,程序员设计了用于简体中文的GB2312和用于繁体中文的big5。

GB2312(1980年)一共收录了7445个字符,包括6763个汉字和682个其它符号。汉字区的内码范围高字节从B0-F7,低字节从A1-FE,占用的码位是72*94=6768。其中有5个空位是D7FA-D7FE。

GB2312支持的汉字太少。1995年的汉字扩展规范GBK1.0收录了21886个符号,它分为汉字区和图形符号区。汉字区包括21003个字符。

从ASCII、GB2312到GBK,这些编码方法是向下兼容的,即同一个字符在这些方案中总是有相同的编码,后面的标准支持更多的字符。在这些编码中,英文和中文可以统一地处理。区分中文编码的方法是高字节的最高位不为0。按照程序员的称呼,GB2312、GBK都属于双字节字符集 (DBCS)。

2000年的GB18030是取代GBK1.0的正式国家标准。该标准收录了27484个汉字,同时还收录了藏文、蒙文、维吾尔文等主要的少数民族文字。从汉字字汇上说,GB18030在GB13000.1的20902个汉字的基础上增加了CJK扩展A的6582个汉字(Unicode码0x3400-0x4db5),一共收录了27484个汉字。

CJK就是中日韩的意思。Unicode为了节省码位,将中日韩三国语言中的文字统一编码。GB13000.1就是ISO/IEC 10646-1的中文版,相当于Unicode 1.1。

GB18030的编码采用单字节、双字节和4字节方案。其中单字节、双字节和GBK是完全兼容的。4字节编码的码位就是收录了CJK扩展A的6582个汉字。 例如:UCS的0x3400在GB18030中的编码应该是8139EF30,UCS的0x3401在GB18030中的编码应该是8139EF31。

微软提供了GB18030的升级包,但这个升级包只是提供了一套支持CJK扩展A的6582个汉字的新字体:新宋体-18030,并不改变内码。Windows 的内码仍然是GBK。

这里还有一些细节:

GB2312的原文还是区位码,从区位码到内码,需要在高字节和低字节上分别加上A0。

对于任何字符编码,编码单元的顺序是由编码方案指定的,与endian无关。例如GBK的编码单元是字节,用两个字节表示一个汉字。 这两个字节的顺序是固定的,不受CPU字节序的影响。UTF-16的编码单元是word(双字节),word之间的顺序是编码方案指定的,word内部的字节排列才会受到endian的影响。后面还会介绍UTF-16。

GB2312的两个字节的最高位都是1。但符合这个条件的码位只有128*128=16384个。所以GBK和GB18030的低字节最高位都可能不是1。不过这不影响DBCS字符流的解析:在读取DBCS字符流时,只要遇到高位为1的字节,就可以将下两个字节作为一个双字节编码,而不用管低字节的高位是什么。

2、Unicode、UCS和UTF
前面提到从ASCII、GB2312、GBK到GB18030的编码方法是向下兼容的。而Unicode只与ASCII兼容(更准确地说,是与ISO-8859-1兼容),与GB码不兼容。例如“汉”字的Unicode编码是6C49,而GB码是BABA。

Unicode也是一种字符编码方法,不过它是由国际组织设计,可以容纳全世界所有语言文字的编码方案。Unicode的学名是"Universal Multiple-Octet Coded Character Set",简称为UCS。UCS可以看作是"Unicode Character Set"的缩写。

根据维基百科全书(http://zh.wikipedia.org/wiki/)的记载:历史上存在两个试图独立设计Unicode的组织,即国际标准化组织(ISO)和一个软件制造商的协会(unicode.org)。ISO开发了ISO 10646项目,Unicode协会开发了Unicode项目。

在1991年前后,双方都认识到世界不需要两个不兼容的字符集。于是它们开始合并双方的工作成果,并为创立一个单一编码表而协同工作。从Unicode2.0开始,Unicode项目采用了与ISO 10646-1相同的字库和字码。

目前两个项目仍都存在,并独立地公布各自的标准。Unicode协会现在的最新版本是2005年的Unicode 4.1.0。ISO的最新标准是ISO 10646-3:2003。

UCS只是规定如何编码,并没有规定如何传输、保存这个编码。例如“汉”字的UCS编码是6C49,我可以用4个ascii数字来传输、保存这个编码;也可以用utf-8编码:3个连续的字节E6 B1 89来表示它。关键在于通信双方都要认可。UTF-8、UTF-7、UTF-16都是被广泛接受的方案。UTF-8的一个特别的好处是它与ISO-8859-1完全兼容。UTF是“UCS Transformation Format”的缩写。

IETF的RFC2781和RFC3629以RFC的一贯风格,清晰、明快又不失严谨地描述了UTF-16和UTF-8的编码方法。我总是记不得IETF是Internet Engineering Task Force的缩写。但IETF负责维护的RFC是Internet上一切规范的基础。

2.1、内码和code page
目前Windows的内核已经采用Unicode编码,这样在内核上可以支持全世界所有的语言文字。但是由于现有的大量程序和文档都采用了某种特定语言的编码,例如GBK,Windows不可能不支持现有的编码,而全部改用Unicode。

Windows使用代码页(code page)来适应各个国家和地区。code page可以被理解为前面提到的内码。GBK对应的code page是CP936。

微软也为GB18030定义了code page:CP54936。但是由于GB18030有一部分4字节编码,而Windows的代码页只支持单字节和双字节编码,所以这个code page是无法真正使用的。

3、UCS-2、UCS-4、BMP
UCS有两种格式:UCS-2和UCS-4。顾名思义,UCS-2就是用两个字节编码,UCS-4就是用4个字节(实际上只用了31位,最高位必须为0)编码。下面让我们做一些简单的数学游戏:

UCS-2有2^16=65536个码位,UCS-4有2^31=2147483648个码位。

UCS-4根据最高位为0的最高字节分成2^7=128个group。每个group再根据次高字节分为256个plane。每个plane根据第3个字节分为256行 (rows),每行包含256个cells。当然同一行的cells只是最后一个字节不同,其余都相同。

group 0的plane 0被称作Basic Multilingual Plane, 即BMP。或者说UCS-4中,高两个字节为0的码位被称作BMP。

将UCS-4的BMP去掉前面的两个零字节就得到了UCS-2。在UCS-2的两个字节前加上两个零字节,就得到了UCS-4的BMP。而目前的UCS-4规范中还没有任何字符被分配在BMP之外。

4、UTF编码

UTF-8就是以8位为单元对UCS进行编码。从UCS-2到UTF-8的编码方式如下:

UCS-2编码(16进制) UTF-8 字节流(二进制) 0000 - 007F 0xxxxxxx 0080 - 07FF 110xxxxx 10xxxxxx 0800 - FFFF 1110xxxx 10xxxxxx 10xxxxxx
例如“汉”字的Unicode编码是6C49。6C49在0800-FFFF之间,所以肯定要用3字节模板了:1110xxxx 10xxxxxx 10xxxxxx。将6C49写成二进制是:0110 110001 001001, 用这个比特流依次代替模板中的x,得到:11100110 10110001 10001001,即E6 B1 89。

读者可以用记事本测试一下我们的编码是否正确。需要注意,UltraEdit在打开utf-8编码的文本文件时会自动转换为UTF-16,可能产生混淆。你可以在设置中关掉这个选项。更好的工具是Hex Workshop。

UTF-16以16位为单元对UCS进行编码。对于小于0x10000的UCS码,UTF-16编码就等于UCS码对应的16位无符号整数。对于不小于0x10000的UCS码,定义了一个算法。不过由于实际使用的UCS2,或者UCS4的BMP必然小于0x10000,所以就目前而言,可以认为UTF-16和UCS-2基本相同。但UCS-2只是一个编码方案,UTF-16却要用于实际的传输,所以就不得不考虑字节序的问题。

5、UTF的字节序和BOM
UTF-8以字节为编码单元,没有字节序的问题。UTF-16以两个字节为编码单元,在解释一个UTF-16文本前,首先要弄清楚每个编码单元的字节序。例如“奎”的Unicode编码是594E,“乙”的Unicode编码是4E59。如果我们收到UTF-16字节流“594E”,那么这是“奎”还是“乙”?

Unicode规范中推荐的标记字节顺序的方法是BOM。BOM不是“Bill Of Material”的BOM表,而是Byte Order Mark。BOM是一个有点小聪明的想法:

在UCS编码中有一个叫做"ZERO WIDTH NO-BREAK SPACE"的字符,它的编码是FEFF。而FFFE在UCS中是不存在的字符,所以不应该出现在实际传输中。UCS规范建议我们在传输字节流前,先传输字符"ZERO WIDTH NO-BREAK SPACE"。

这样如果接收者收到FEFF,就表明这个字节流是Big-Endian的;如果收到FFFE,就表明这个字节流是Little-Endian的。因此字符"ZERO WIDTH NO-BREAK SPACE"又被称作BOM。

UTF-8不需要BOM来表明字节顺序,但可以用BOM来表明编码方式。字符"ZERO WIDTH NO-BREAK SPACE"的UTF-8编码是EF BB BF(读者可以用我们前面介绍的编码方法验证一下)。所以如果接收者收到以EF BB BF开头的字节流,就知道这是UTF-8编码了。

Windows就是使用BOM来标记文本文件的编码方式的。

6、进一步的参考资料
本文主要参考的资料是 "Short overview of ISO-IEC 10646 and Unicode" (http://www.nada.kth.se/i18n/ucs/unicode-iso10646-oview.html)。

我还找了两篇看上去不错的资料,不过因为我开始的疑问都找到了答案,所以就没有看:

"Understanding Unicode A general introduction to the Unicode Standard" (http://scripts.sil.org/cms/scripts/page.php?site_id=nrsi&item_id=IWS-Chapter04a)
"Character set encoding basics Understanding character set encodings and legacy encodings" (http://scripts.sil.org/cms/scripts/page.php?site_id=nrsi&item_id=IWS-Chapter03)
我写过UTF-8、UCS-2、GBK相互转换的软件包,包括使用Windows API和不使用Windows API的版本。以后有时间的话,我会整理一下放到我的个人主页上(http://fmddlmyy.home4u.china.com)。

我是想清楚所有问题后才开始写这篇文章的,原以为一会儿就能写好。没想到考虑措辞和查证细节花费了很长时间,竟然从下午1:30写到9:00。希望有读者能从中受益。

附录1 再说说区位码、GB2312、内码和代码页
有的朋友对文章中这句话还有疑问:
“GB2312的原文还是区位码,从区位码到内码,需要在高字节和低字节上分别加上A0。”

我再详细解释一下:

“GB2312的原文”是指国家1980年的一个标准《中华人民共和国国家标准 信息交换用汉字编码字符集 基本集 GB 2312-80》。这个标准用两个数来编码汉字和中文符号。第一个数称为“区”,第二个数称为“位”。所以也称为区位码。1-9区是中文符号,16-55区是一级汉字,56-87区是二级汉字。现在Windows也还有区位输入法,例如输入1601得到“啊”。

内码是指操作系统内部的字符编码。早期操作系统的内码是与语言相关的.现在的Windows在内部统一使用Unicode,然后用代码页适应各种语言,“内码”的概念就比较模糊了。微软一般将缺省代码页指定的编码说成是内码,在特殊的场合也会说自己的内码是Unicode,例如在GB18030问题的处理上。

所谓代码页(code page)就是针对一种语言文字的字符编码。例如GBK的code page是CP936,BIG5的code page是CP950,GB2312的code page是CP20936。

Windows中有缺省代码页的概念,即缺省用什么编码来解释字符。例如Windows的记事本打开了一个文本文件,里面的内容是字节流:BA、BA、D7、D6。Windows应该去怎么解释它呢?

是按照Unicode编码解释、还是按照GBK解释、还是按照BIG5解释,还是按照ISO8859-1去解释?如果按GBK去解释,就会得到“汉字”两个字。按照其它编码解释,可能找不到对应的字符,也可能找到错误的字符。所谓“错误”是指与文本作者的本意不符,这时就产生了乱码。

答案是Windows按照当前的缺省代码页去解释文本文件里的字节流。缺省代码页可以通过控制面板的区域选项设置。记事本的另存为中有一项ANSI,其实就是按照缺省代码页的编码方法保存。

Windows的内码是Unicode,它在技术上可以同时支持多个代码页。只要文件能说明自己使用什么编码,用户又安装了对应的代码页,Windows就能正确显示,例如在HTML文件中就可以指定charset。

有的HTML文件作者,特别是英文作者,认为世界上所有人都使用英文,在文件中不指定charset。如果他使用了0x80-0xff之间的字符,中文Windows又按照缺省的GBK去解释,就会出现乱码。这时只要在这个html文件中加上指定charset的语句,例如:
<meta http-equiv="Content-Type" content="text/html; charset=ISO8859-1">
如果原作者使用的代码页和ISO8859-1兼容,就不会出现乱码了。

再说区位码,啊的区位码是1601,写成16进制是0x10,0x01。这和计算机广泛使用的ASCII编码冲突。为了兼容00-7f的ASCII编码,我们在区位码的高、低字节上分别加上A0。这样“啊”的编码就成为B0A1。我们将加过两个A0的编码也称为GB2312编码,虽然GB2312的原文根本没提到这一点
  回复  更多评论
  
# re: 大话字符编码(zt)
2006-08-07 15:09 | 汪杰
<SCRIPT language=JavaScript>
function JM_fade(ob_id){
ob=document.getElementById(ob_id);
if(ob.d==undefined)ob.d=1;
if (ob.d==0) {
ob.filters.alpha.opacity+=1
} else {
ob.filters.alpha.opacity-=1
}
if (ob.filters.alpha.opacity==100){
ob.d=1;
return;
} else if (ob.filters.alpha.opacity==0){
ob.d=0;
}
setTimeout("JM_fade('"+ob_id+"')",10)
}
</SCRIPT>
<a href="#"><IMG style="FILTER: alpha(opacity=100)" src="http://desk.blueidea.com/DESK/16001200BZ/1600flower_4/225/1600flower_4013.jpg" name=u onMouseOver="javascript:JM_fade(this.id)" id="i01"></a>

<a href="#"><IMG style="FILTER: alpha(opacity=100)" src="http://desk.blueidea.com/DESK/QTBZ/BitRed/225/BitRed005.jpg" name=u onMouseOver="javascript:JM_fade(this.id)" id="i02"></a>  回复  更多评论
  
只有注册用户登录后才能发表评论。

<2009年3月>
22232425262728
1234567
891011121314
15161718192021
22232425262728
2930311234

常用链接

留言簿(15)

随笔分类(1)

随笔档案(90)

文章分类(727)

文章档案(712)

相册

收藏夹

http://blog.csdn.net/prodigynonsense

友情链接

最新随笔

搜索

  •  

积分与排名

  • 积分 - 384891
  • 排名 - 6

最新随笔

最新评论

阅读排行榜

评论排行榜