前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >UTF-8编码中的特殊空格之C2 A0 -> NO-BREAK SPACE

UTF-8编码中的特殊空格之C2 A0 -> NO-BREAK SPACE

作者头像
翎野君
发布2023-05-12 20:15:06
2970
发布2023-05-12 20:15:06
举报
文章被收录于专栏:翎野君翎野君

异常数据追踪

最近发现数据库中的一个字段值数据异常的问题,业务场景中不允许这个字符串字段中出现空格,但是发现有部分数据依然有'空格',反复验证过之后发现自己写的代码的的确确会把空格trim掉,反复调试后发现代码没有问题,但是什么情况使得这些数据逃过了业务代码的校验?

准备破案

难道我肉眼看到的'空格',不是我们平常见到或者理解的'空格'?

带着这个疑问,我搜索了一下相关的问题,发现果不其然,很多人都遇到了C2 A0这个不可见字符,那么这个字符到底是什么呢?

打开UTF-8的编码表,https://www.utf8-chartable.de/unicode-utf8-table.pl?utf8=dec 找到对应的字符

首先明确C2 A0代表的编码序号是多少,很显然我们只需要将这个十六进制转为十进制,即C2=194 A0=160,这个在编码表中对应的是

U+00A0

194 160

NO-BREAK SPACE

而我们一般意义上将的空格的编码是32

U+0020

32

SPACE

那们我们通过代码来模拟一下上面两个字符

普通的空格 Unicode code point为U+0020即32

C2 A0空格 Unicode code point为U+00A0即160

找到原因之后,我们想办法把这种C2 A0空格给去除掉

源代码见下

代码语言:javascript
复制
package com.lingyejun.dating.chap11;

import java.nio.charset.StandardCharsets;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class SpecialSpace {

    public static void main(String[] args) {
        String str1 = "lingyejun ";
        byte[] str1Bytes = str1.getBytes();
        String space = new String(str1Bytes, StandardCharsets.UTF_8);
        System.out.println("带有32 Space的字符串:" + space);
        System.out.println("使用trim去掉32 -> Space:" + space.trim());

        byte[] str2Bytes = new byte[11];
        System.arraycopy(str1Bytes, 0, str2Bytes, 0, str1Bytes.length);
        str2Bytes[9] = (byte) 0xC2;
        str2Bytes[10] = (byte) 0xA0;
        String noBreakSpace = new String(str2Bytes, StandardCharsets.UTF_8);
        System.out.println("带有C2 A0 -> NO-BREAK SPACE的字符串:" + noBreakSpace);
        System.out.println("使用trim无法去掉C2 A0 -> NO-BREAK SPACE:" + noBreakSpace.trim());

        // 32为我们平常谈论的Space空格 -> SPACE
        byte[] bytes1 = new byte[]{(byte) 0x20};
        String space1 = new String(bytes1, StandardCharsets.UTF_8);
        System.out.println("UTF-8 字符编码号32 -> 0x1F 输出:" + space1);

        // 0xC2=194 0xA0=160  -> NO-BREAK SPACE
        byte[] bytes2 = new byte[]{(byte) 0xC2, (byte) 0xA0};
        String space2 = new String(bytes2, StandardCharsets.UTF_8);
        char[] chars3 = space2.toCharArray();
        System.out.println("UTF-8 字符编码号194 -> 0xC2 160 -> 0xA0 输出:" + space2);

        byte[] bytes3 = new byte[]{(byte) 0xC2, (byte) 0xA0};
        String c2a0Space = new String(bytes3, StandardCharsets.UTF_8);
        Pattern p = Pattern.compile(c2a0Space);
        Matcher m = null;
        m = p.matcher(noBreakSpace);
        noBreakSpace = m.replaceAll("");
        System.out.println("使用正则去掉C2 A0 -> NO-BREAK SPACE:" + noBreakSpace);
    }
}
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2020-06-06,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 异常数据追踪
  • 准备破案
    • 普通的空格 Unicode code point为U+0020即32
      • C2 A0空格 Unicode code point为U+00A0即160
      领券
      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档