首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >问答首页 >例如无效的utf8字符串?

例如无效的utf8字符串?
EN

Stack Overflow用户
提问于 2009-08-19 17:20:23
回答 5查看 77.6K关注 0票数 117

我正在测试我的一些代码如何处理坏数据,并且我需要一些无效的UTF-8字节序列。

你能不能发布一些,最好是,解释一下为什么它们不好/你在哪里买到的?

EN

回答 5

Stack Overflow用户

回答已采纳

发布于 2009-08-19 17:26:59

看一看Markus Kuhn's UTF-8 decoder capability and stress test file

你会发现许多UTF-8不规则的例子,包括孤立的开始字节,连续字节丢失,过长的序列,等等。

票数 83
EN

Stack Overflow用户

发布于 2010-10-08 05:28:01

在PHP中:

代码语言:javascript
代码运行次数:0
运行
复制
$examples = array(
    'Valid ASCII' => "a",
    'Valid 2 Octet Sequence' => "\xc3\xb1",
    'Invalid 2 Octet Sequence' => "\xc3\x28",
    'Invalid Sequence Identifier' => "\xa0\xa1",
    'Valid 3 Octet Sequence' => "\xe2\x82\xa1",
    'Invalid 3 Octet Sequence (in 2nd Octet)' => "\xe2\x28\xa1",
    'Invalid 3 Octet Sequence (in 3rd Octet)' => "\xe2\x82\x28",
    'Valid 4 Octet Sequence' => "\xf0\x90\x8c\xbc",
    'Invalid 4 Octet Sequence (in 2nd Octet)' => "\xf0\x28\x8c\xbc",
    'Invalid 4 Octet Sequence (in 3rd Octet)' => "\xf0\x90\x28\xbc",
    'Invalid 4 Octet Sequence (in 4th Octet)' => "\xf0\x28\x8c\x28",
    'Valid 5 Octet Sequence (but not Unicode!)' => "\xf8\xa1\xa1\xa1\xa1",
    'Valid 6 Octet Sequence (but not Unicode!)' => "\xfc\xa1\xa1\xa1\xa1\xa1",
);

来自http://www.php.net/manual/en/reference.pcre.pattern.modifiers.php#54805

票数 59
EN

Stack Overflow用户

发布于 2013-06-20 02:59:01

可以从结构良好的字节序列的表中得到结构不良的字节序列的模式的概念。请参阅Unicode标准6.2中的"Table 3-7. Well-Formed UTF-8 Byte Sequences“。

代码语言:javascript
代码运行次数:0
运行
复制
    Code Points    First Byte Second Byte Third Byte Fourth Byte
  U+0000 -   U+007F   00 - 7F
  U+0080 -   U+07FF   C2 - DF    80 - BF
  U+0800 -   U+0FFF   E0         A0 - BF     80 - BF
  U+1000 -   U+CFFF   E1 - EC    80 - BF     80 - BF
  U+D000 -   U+D7FF   ED         80 - 9F     80 - BF
  U+E000 -   U+FFFF   EE - EF    80 - BF     80 - BF
 U+10000 -  U+3FFFF   F0         90 - BF     80 - BF    80 - BF
 U+40000 -  U+FFFFF   F1 - F3    80 - BF     80 - BF    80 - BF
U+100000 - U+10FFFF   F4         80 - 8F     80 - BF    80 - BF

以下是从U+24B62生成的示例。我将它们用于错误报告:Bug #65045 mb_convert_encoding breaks well-formed character

代码语言:javascript
代码运行次数:0
运行
复制
// U+24B62: "\xF0\xA4\xAD\xA2"
"\xF0\xA4\xAD"    ."\xF0\xA4\xAD\xA2"."\xF0\xA4\xAD\xA2"
"\xF0\xA4\xAD\xA2"."\xF0\xA4\xAD\xA2"."\xF0\xA4\xAD"

在各种库中可以看到尾部字节范围(0x80,0xBF)的过度简化。

代码语言:javascript
代码运行次数:0
运行
复制
// U+0800 - U+0FFF
\xE0\x80\x80

// U+D000 - U+D7FF
\xED\xBF\xBF

// U+10000 -  U+3FFFF
\xF0\x80\x80\x80

// U+100000 - U+10FFFF
\xF4\xBF\xBF\xBF
票数 5
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/1301402

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档