问如何验证UTF-8字符串是否包含错误编码的字符
EN

Stack Overflow用户

提问于 2013-01-09 22:00:25

回答 2查看 33.2K关注 0票数 18

在一个大型数据集中，我有一些看起来像这样的数据：

"guide (but, yeah, itâ€™s okay to share it with â€˜em)."

我已经在十六进制编辑器中打开了该文件，并通过字符编码检测算法(http://code.google.com/p/juniversalchardet/)运行原始字节数据，它被确定为UTF8。

在我看来，数据的来源错误地解释了原始字符集，并将有效的UTF-8作为我收到的输出。

我想尽我所能验证数据。是否有任何启发式/算法可以帮助我尝试验证？

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/14236923

复制

相似问题

问如何验证UTF-8字符串是否包含错误编码的字符EN