在Linux for SMuFL中预览和输入Unicode字体(私有区/基本多语言平面) - 腾讯云开发者社区

文章/答案/技术大牛

发布

从JavaScript看字符编码的前世今生！

基本多文种平面（Basic Multilingual Plane, BMP），或称第0平面或0号平面（Plane 0），是Unicode中的一个编码区块。编码从U+0000至U+FFFF。...在大多数文本中，非基本多文种平面的字符非常罕见，这使得UTF-32所需空间接近UTF-16的两倍和UTF-8的四倍（具体取决于文本中ASCII字符的比例）。...我们看一下UTF-16是怎样映射到非基本平面的：辅助平面（Supplementary Planes）中的码位，在UTF-16中被编码为一对16比特长的码元（即32位，4字节），称作代理对（Surrogate...因此，需要在基本多语言平面中保留不对应于Unicode字符的2048个码位，就足以容纳前导代理与后尾代理所需要的编码空间。这对于基本多语言平面总计65536个码位来说，仅占3.125%。...限制UTF-8编码实现的编码空间占用一般被认为是考虑到数据库文件设计的兼容性和读取最优化，但实际上并没有达到目的，而且在UTF-8编码开始出现需要存入非基本多文种平面的Unicode字符（例如emoji

8071 0

刨根究底字符编码之八——Unicode编码方案概述

以前大陆地区必须装上类似于“UCDOS希望汉字系统”这样的中文处理系统专门来处理简体汉字的显示、输入问题。...到Unicode 2.0时，Unicode字符集和UCS字符集(ISO/IEC 10646-1)基本保持了一致。...其中第0个平面BMP(Basic Multilingual Plane基本多语言平面、基本多文种平面、基本平面、平面0)，基本涵盖了当今世界上正在使用中的常用字符。...在Unicode标准推出之前，那些做多语言国际软件的公司遇上过很大麻烦。他们为了在不同的国家销售同一套软件，就不得不特别注意字符编码的问题。...其中，UCS-2又被称为基本多语言平面BMP(Basic Multilingual Plane)，与Unicode的基本多语言平面BMP保持了一致；而UCS-4格式用四个字节中的31位来表示一个字符的码点编号

9042 0

您找到你想要的搜索结果了吗？

是的

没有找到

VS Code 1.63 版本又带来哪些新特性？

Visual Studio Code 是一个开源的代码编辑器，支持 IntelliSense、调试、Git 和代码片断。可在 Windows、Linux 和 macOS 上下载使用。...支持常见的脚本和编程语言，还可以通过安装扩展来获得更多语言和功能的支持。...主要更新内容 Marketplace 主题预览 - 无需安装即可试用颜色主题配置问题导航顺序 - 按严重性或文件位置转到下一个错误或警告在截屏模式下显示命令 - 显示命令名称和键盘快捷键 Notebook...改进 - 调整 Markdown 字体大小，更好的文件和 URL 链接支持不可见的 Unicode 突出显示 - 突出显示不可见或易混淆的 Unicode 字符 TypeScript 方法补全 -...Runner for Web 在 SSH 服务器上的容器中工作 - 新建远程 - 在容器命令中重新打开 SSH 预览主题：详细内容请查看更新公告： https://code.visualstudio.com

8182 0

本文带你深入理解 String Unicode UTF8 UTF16

Unicode 部署在全球超过 200 亿台设备上，还提供国际化解决方案和支持本地化的架构。Unicode是在ASCII的128个字符上扩展出来的。...平面始末字符值中文名称英文名称0号平面U+0000 - U+FFFF基本多文种平面Basic Multilingual Plane，简称BMP1号平面U+10000 - U+1FFFF多文种补充平面Supplementary...+EFFFF特别用途补充平面Supplementary Special-purpose Plane，简称SSP15号平面U+F0000 - U+FFFFF保留作为私人使用区（A区）Private Use...JS中的字符串在JS中，'‍♂️'.length算的就是这个字符的UTF16占用了多少个字节。我开发了个工具，用于解析字符串，把它的UTF8二进制和UTF16二进制都展示了出来。...当然不是任意都能组合，需要你字体中定义了那个组合才可以。标题中的Emoji，叫man: beard，是胡子和男人的组合。

5.8K14 1

基础数据类型之Unicode编码简介

~ U+10FFFF 其中对于第一个U+00 也就是U+0000到U+FFFF ,包含了最常见的字符被称作基本多语言平面 Basic Multilingual Plane, BMP...一个字符对应一个二进制序列基本平面中使用四位十六进制数在零号平面以外的字符则需要使用五位或六位十六进制数了编码方式 Unicode 没有规定字符对应的二进制码在计算机中如何存储,只是规定了他的值是多少而已...标准规定：基本多语言平面内，U+D800..U+DFFF的值不对应于任何字符，为代理区 ,其中又分为高代理区和低代理区U+D800 加上10个二进制位的数值的最大值,可以得到高代理区的范围U+D800...,使用2个字节长度,16位表示,这被称之为一个代码单元对于除了基本平面外的辅助平面,使用4个字节长度来表示,也就是两个代码单元之前我们提到过,Unicode中的一个字符的值,被称之为一个码点...-16中,虽然我可以根据值确定是否在0号平面内,还是在扩展辅助平面的但是,如何把一个二进制序列解析为他的值,这是一个问题比如 0000 0001 0000 0010 假如说这是一个十六进制数

9972 0

Unicode 与 utf8 utf16 utf32的关系

Unicode是计算机领域的一项行业标准，它对世界上绝大部分的文字的进行整理和统一编码，Unicode的编码空间可以划分为17个平面（plane），每个平面包含2的16次方（65536）个码位。...17个平面的码位可表示为从U+0000到U+10FFFF，共计1114112个码位，第一个平面称为基本多语言平面（Basic Multilingual Plane, BMP），或称第零平面（Plane...其他平面称为辅助平面（Supplementary Planes）。基本多语言平面内，从U+D800到U+DFFF之间的码位区段是永久保留不映射到Unicode字符，所以有效码位为1112064个。...基本多语言平面（码位范围U+0000-U+FFFF）在基本多语言平面内的码位UTF-16编码使用1个码元且其值与Unicode是相等的（不需要转换）。...high 1bit | 0xD800 得到前导代理， low 10bit | 0xDC00 得到后尾代理从这里也可以理解为什么在基本多语言平面中，（U+D800 ~ U+DFFF ）要作为保留字符了

2.2K4 0

一个Java字符串中到底有多少个字符?

在Unicode中，为每一个字符对应一个编码点(一个整数)，用 U+紧跟着十六进制数表示。所有字符按照使用上的频繁度划分为 17 个平面（编号为 0-16），即基本的多语言平面和增补平面。...基本的多语言平面（英文为 Basic Multilingual Plane，简称 BMP）又称平面 0，收集了使用最广泛的字符。...二维表中行与列交叉的点称之为代码点，每个码点分配一个唯一的编号数字，称之为码点值或码点编号，除开某些特殊区域(比如代理区、专用区)的非字符代码点和保留代码点，每个代码点唯一对应于一个字符。...其实是不会的，幸运的是，在BMP平面中， U+D800到U+DFFF之间的码位是永久保留不映射到Unicode字符，UTF-16就利用保留下来的0xD800-0xDFFF区块的码位来对辅助平面的字符的码位进行编码...可以看到前导代理和后尾代理的范围都落在了BMP平面中不用来映射的码位，所以不会产生冲突，而且前导代理和后尾代理也没有重合。

1.4K1 0

2020-2-22-Unicode代理对（utf-16）

比如如果中文和日文的不同文字使用了同一个编码值进行表示，那么一篇中文的软件/操作系统中创作的文章，到了日文软件/操作系统中显示就会出现乱码。...这对于存储和网络传输都是非常大的影响。而且，由于我们的常用字符大部分只需要2个字节就能表示。所以这些额外的空间在大部分情况下，都是白白“浪费”了。...而且和基本的两字节表示的Unicode编码放在一起看，并不连续。...而其他的16个平面叫做辅助平面，由四个字节的代理对生成。每个功能可以划分特定使用方式，这样就能实现编码和表意的统一，通过编码范围识别出字符所属的用途。...代码识别最后一个问题是编程语言识别问题，由于存在代理对，许多语言的string.length方法会将代理对中的字符（如emoji）个数识别成2个。这样会造成一些诸如光标定位，字符提取等方面的问题。

1.6K3 0

面试官让我讲讲Unicode，我讲了3秒说没了，面试官说你可真菜

在输入框1中进行搜索，在出来的结果2中就是这个字符的unicode码点表示，不仅如此，结果2还可以继续进行点击查看更多详情！...第一个平面即是 BMP（Basic Multilingual Plane 基本多语言平面），也叫 Plane 0，它的码点范围是 U+0000 ~ U+FFFF。...在前面的鸟瞰图中，我们看到了一片空白的区域，这就是所谓的代理区（Surrogate Area）了，代理区是 UTF-16 为了编码增补平面中的字符而保留的，总共有 2048 个位置，均分为高代理区（D800...–DBFF）和低代理区（DC00–DFFF）两部分，各1024，这两个区组成一个二维的表格，共有1024×1024=210×210=24×216=16×65536，所以它恰好可以表示增补的 16 个平面中的所有字符...乔哥：这还是非常粗糙的设计，如果我们想在这串字符中搜索“o”这个字符，它的编码是 3，首先会找到3和53，这样在匹配时也会匹配上 53 中的 3，这种设计会让我们在实现匹配算法时不好实现啊。, ?

8932 0

关于Unicode的私人使用区(PUA) 和浏览器端显示处理

本故事源于我在做数据过程中遇到Unicode编码中的私人使用区PUA编码的汉字，然后导入到产品端后他们说有些汉字是乱码无法显示，然后针对这个问题进行了排查。.../B 补充私有使用区平面(Supplementary Private Use Area planes) 通过这个平面表我们可以看到该字的编码在BMP中，Unicode中，私人使用区(PUA)是一系列代码点...，根据定义，Unicode 联盟不会为其分配字符，定义了二个私人使用区域:一个位于基本多语言平面( U+E000-U+F8FF),一个位于并几乎覆盖平面 15 和 16(U+F0000-U+FFFFD...这些区域中的代码点不能被视为 Unicode 本身的标准化字符。字符集和字体 Windows 允许在双字节字符集中 (DBCS) 和 Unicode 中对非标准字符进行本地定义。...同样，应用程序可以通过在 EUDC 键下指定字体名称和关联的字体文件，将单独的 EUDC/PUA 字体与相应的字体相关联。操作系统始终首先尝试查找当前所选字体中的 EUDC/PUA。

1.1K2 0

.NET WebShell 免杀系列之Unicode编码

直至2020年3月，Unicode的版本为Unicode 13.0.0，在最新的Unicode13版本中，包含了大约14万字符，可以支持154种脚本的文本显示，除了定义哪些字符会被涵盖外，它还要定义每个字符所对应的码位...所以在 UTF-32 中，每个字符占用 4 个字节，它是一种定长编码格式，使用32位表示Unicode中的一个码位。由于Unicode的码位实际只用了21位，所以多余部分前导0。...平面 Unicode标准中，码位的表示方法通常是使用它们的十六进制，并加上U+前缀。...我们通过下表来阐明Unicode标准使用的几种平面和一些术语。...3.1 基本多语言平面基本多语言平面全称Basic Multilingual Plane，简称 BMP，也是Unicode编码中最重要的平面包含了几乎所有常用的系统和符号，码位范围U+0000 - U

1.6K3 0

字符集与字符编码的区别与演进（ASCII、GBK、UNICODE）

1.3 双字节编码：大五码、GB码单字节编码在中文环境中显然是不够用的，中文区的标准编码是GB系列。大五码是早期繁体中文的事实标准，基本被GB码取代。...之后的双字节中，前一字节是双字节的第一位。总体上说第一字节的范围是81–FE（也就是不含80和FF），第二字节的一部分领域在40–7E，其他领域在80–FE。...平时使用0号平面即可覆盖大部分场景。0号平面也叫做基本多文种平面（Basic Multilingual Plane, BMP）。...在输入’a’时，系统直接映射为0110 0001存入即可，这种强映射方式好处是使用简单，快捷。...字符集：字符和字符码的映射关系，例如在ASCII中a的字符码就是97，表示在字符集的97号位置上是字符’a’。

1.6K2 0

JavaScript emoji utils

这些符号被分组归入16个平面（panel），所以每个平面放65536（16^4 === 65536）个其中，常用符号都放在第一个平面（U+0000到U+FFFF）里，所以称之为基本多语言平面（Basic...此外，基本多语言平面里65536个位置的入住率并不是100%，专门空出来一些位置以备不时之需，比如新增特殊含义符号，或者扩展比如UTF-16中代理对儿（surrogate pairs）的概念，即用两个...4位（16进制）的小码位值表示一个大码位值（大于4位），算是一种从基本多语言平面到辅助平面的映射，之所以能这样做，就是因为：基本多语言平面内，从U+D800到U+DFFF之间的码位区段是永久保留不映射到...正则表达式中的Unicode 既然大Unicode（大于U+FFFF的）在JS中用两个小Unicode（代理对儿）来表示，那么自然会写出这样的正则表达式： > /[\uD83D\uDCA9-\uD83D...：emoji是在Unicode基础上建立的，依赖Unicode规范比如从短信复制粘贴到网页输入框，emoji可能就显示不出来或者乱码了，因为native与Web浏览器支持的emoji规范版本或实现程度存在差异

2.1K4 0

那些坑人的乱码问题(中)

Unicode编码上篇中已经讲了编码的基本概念，本来是直接写MySQL的编码问题的，但是觉的Unicode字符集和UTF编码太重要了，以至于不能忽略这部分内容。...保留作为私人使用区基本多文种平面即第0平面，这个平面收录了几乎所有现代语言的常用字符和符号，也是最常使用的一个平面，这个平面除了常规的字符以外，还有两部分比较特殊：代理：在第0平面中U+D800...，因为虽然是同一个字，但是在不同的语言里面应该是不同的字体，但是Unicode这样的规定就导致了无法给这个字符加上多种字体了）。...，这是因为MySQL中的utf8编码并不是标准的UTF-8编码，utf8mb4才是标准的UTF-8编码，而MySQL中的utf8中的编码仅仅实现了unicode字符集的第一平面，上文提到emoji是在第二平面...UTF-16结合了定长（UTF-32）和变长（UTF-8）两种编码方法的特点。它的编码规则很简单：基本平面的字符占用 2 个字节，辅助平面的字符占用 4 个字节。

6773 0

一个 Java 字符串到底有多少个字符?

1.3K1 1

ES6、ES7、ES8、ES9、ES10、ES11、ES12、ES13新特性大全

ECMAScript 2022(ES13)提案阶段，更倾向于面向对象声明类的字段：类字段可以在类的顶层被定义和初始化私有方法&字段：用#前缀来定义类的私有方法和字段类的静态公共方法和字段：增加了静态公共字段...、静态私有方法和静态私有字段的特性 ECMScript 类静态初始化块：在类声明/定义期间评估静态初始化代码块，可以访问类的私有字段检测私有字段：可以使用in操作符，如果指定的属性/字段在指定的对象/...类中，则返回真，并且也能判断私有字段正则匹配索引：该提案提供了一个新的/dflag，以获得关于输入字符串中每个匹配的开始和索引位置结束的额外信息在所有内置的可索引数据上新增.at()方法 Object.hasOwn...下划线 (_) 分隔符：使用 _ 分隔数字字面量以方便阅读 Intl.ListFormat ：用来处理和多语言相关的对象格式化操作 Intl.DateTimeFormat API 中的 dateStyle...Unicode 属性转义形式为\p{...}和\P{...}

2.4K1 0

【拓展】谈谈字符编码：Unicode编码与emoji表情编码

其中，第零平面，也就是U+0000~U+FFFF的码位叫做基本多语言平面，简称BMP(Basic Multilingual Plane)。...UTF-16 UTF-16实现方案则介于UTF-8和UTF-32之间。对最常用的基本平面中字符的存储空间进行了压缩，使得汉字只需要两个字节就可以存储。...由于基本平面的码位值从U+0000-U+FFFF，刚好用 2 个字节就可以存放，所以UTF-16规定基本平面中的字符占用2个字节，辅助平面的字符占用 4 个字节。...前面提到，在基本平面内，从 U+D800 到 U+DFFF 的码位是代理区，不对应任何字符。因此，UTF-16就用了这一段区域巧妙地解决了边界问题。 UTF-16将代理区进一步划分成两部分。...在MAC中，输入ctrl + cmd + 空格后在弹出的面板里添加unicode代码表就可以看见每个unicode码位对应的字符了。其中可以非常方便地查询到字符对应到编码值。如下图所示。 ?

8.5K4 2

聊聊Java中codepoint和UTF-16相关的一些事

Unicode字符集规定的标准编码方案是UCS-2（UTF-16），用两个字节表示一个Unicode字符（UTF-16中两个字节的为基本多语言平面字符，4个字节的为辅助平面字符）。...所以在使用Unicode字符集时有多种编码方案，分别用于合适的场景。...第一个平面称为基本多语言平面（Basic Multilingual Plane, BMP），或称第零平面（Plane 0）。其他平面称为辅助平面（Supplementary Planes）。...基本多语言平面内，从U+D800到U+DFFF之间的码位区块是永久保留不映射到Unicode字符。UTF-16就利用保留下来的0xD800-0xDFFF区段的码位来对辅助平面的字符的码位进行编码。...辅助平面中的码位，在UTF-16中被编码为一对16比特长的码元，称作代理对（surrogate pair），具体方法是：将码位减去0×10000,得到的值的范围为20比特长的0~0xFFFFF。

1.2K2 0

各种字符编码详解

Unicode编码点分为17个平面（plane），每个平面包含65536个码位（code point），而第一个平面称为“基本多语言平面”（Basic Multilingual Plane，简称BMP）...其中“基本多语言平面”（0~0xFFFF）中0xD800~0xDFFF之间的码位作为保留，未使用。...UCS-2只能编码“基本多语言平面”中的字符，此时UTF-16与UCS-2的编码一样（都直接使用Unicode的码位作为编码值），例：“汉”在Unicode中的码位为6C49，而在UTF-16编码也为6C49...UTF-16中如何对“辅助平面”进行编码呢？ Unicode的码位区间为0~0x10FFFF，除“基本多语言平面”外，还剩0xFFFFF个码位（并且其值都大于或等于0x10000）。...1995年的汉字扩展规范GBK1.0收录了21886个符号，它分为汉字区和图形符号区。汉字区包括21003个字符。 2000年的GB18030是取代GBK1.0的正式国家标准。

2.1K0 0

【STM32H7教程】第52章 STM32H7的LTDC应用之点阵字体和字符编码（重要）

中国大陆几乎所有的中文系统和国际化的软件都支持GB2312。基本集共收入汉字6763个以及非汉字图形字符682个。整个字符集分成94个区，每区有94个位。...例如“啊”字在大多数程序中，会以两个字节0xB0A1储存。而区位码就是0x1001，他们之间的关系就是高位字节和低位字节都差0xA0。...上述16位统一码字符构成基本多文种平面。最新（但未实际广泛使用）的统一码版本定义了16个辅助平面，两者合起来至少需要占据21位的编码空间，比3字节略少。...UTF-16 LE）的概念，以及可附加的字节顺序记号解决方案，目前在PC机上的Windows系统和Linux系统对于UTF-16编码默认使用UTF-16 LE。...目前辅助平面的工作主要集中在第二和第三平面的中日韩统一表意文字中，因此包括GBK、GB18030、Big5等简体中文、繁体中文、日文、韩文以及越南喃字的各种编码与Unicode的协调性被重点关注。

7702 1

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

从JavaScript看字符编码的前世今生！

刨根究底字符编码之八——Unicode编码方案概述

VS Code 1.63 版本又带来哪些新特性？

本文带你深入理解 String Unicode UTF8 UTF16

基础数据类型之Unicode编码简介

Unicode 与 utf8 utf16 utf32的关系

一个Java字符串中到底有多少个字符?

2020-2-22-Unicode代理对（utf-16）

面试官让我讲讲Unicode，我讲了3秒说没了，面试官说你可真菜

关于Unicode的私人使用区(PUA) 和浏览器端显示处理

.NET WebShell 免杀系列之Unicode编码

字符集与字符编码的区别与演进（ASCII、GBK、UNICODE）

JavaScript emoji utils

那些坑人的乱码问题(中)

一个 Java 字符串到底有多少个字符?

ES6、ES7、ES8、ES9、ES10、ES11、ES12、ES13新特性大全

【拓展】谈谈字符编码：Unicode编码与emoji表情编码

聊聊Java中codepoint和UTF-16相关的一些事

各种字符编码详解

【STM32H7教程】第52章 STM32H7的LTDC应用之点阵字体和字符编码（重要）

扫码

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐