张龙netty学习笔记 P45 P46 字符集编码

什么是字符集

字符集分为编码和解码两个操作(decode和encode)。

  1. decode将字节转化为字符,是对字节的一种解释方式。
  2. encode将字符转化为字节,是对字符的一种编码。

各种字符集

  1. ASCII 7个字节表示一个字符。会有位缺失(一个字节里最后一个字节没有用)。能表示英文字母、换行符等常用符号
  2. iso-8859-1 8个字节表示一个字符,表示范围包含了ASCII
  3. 中文 中华人民共和国为了应对iso-8859-1无法表示数量繁多的汉字而制定的编码规则。用两个字节表示一个字符。
    1. GB2312 包含大部分汉字。
    2. GBK 表示范围包含了GB2312。包含了一些GB2312没包含的生僻字。
    3. GB18030 表示范围包含了GBK。包含了所有汉字。
  4. 繁体 台湾所制定的编码规则。
    1. BIG5 包含繁体字。
  5. unicode 收容了世界上所有语言的文字。每个字符包含两个字节。尽管表示范围广泛,但对于欧美等主要用英文字母交流的国家来说,一个英文字母用两个字节表示会造成极大浪费。原本用iso-8859-1编码为1M大小的英文文本,用unicode编码要占据2M。
    1. big endian与little endian:在文本开头附加两个字节,如果是0xFE FF,标志该文本为大端存储,如果是0xFF FE,表示该文本为小端存储。 比如某个文本为“FF FE 25 4E”,其中“FF FE”表明是小头方式存储,真正的编码是4E25。
  6. utf-8 为了应对unicode对英文存储的极大浪费问题,所制定的不定长编码:英文编码为一个字节,中文大多编码为3个字节,最多可达6个字节
    1. BOM(byte order mask)。在utf-8中的专有名词,作用是标识文本的字节读取顺序,其实就是上文5.1里的big endian与little endian。
    2. BOM的遗留问题:其实在文本头添加BOM可以说是windows发明出来的概念,但这引来了兼容性问题:因为utf-8编码在linux中是默认不带有BOM的,而在windows是默认带有BOM的。这使得文本在linux与windows之间拷贝后,无法读取。 也正因为如此,额外引申出"utf-8 without BOM"这个编码,显示指定文本编码不带有BOM

char

char在Java中是16位的,因为Java用的是Unicode。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券