前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >unicode字符串解析

unicode字符串解析

作者头像
逝兮诚
发布2019-10-30 18:16:33
1.3K0
发布2019-10-30 18:16:33
举报
文章被收录于专栏:代码人生代码人生

现象和答案

在http接口接收时,很多接口提供方都喜欢把汉字通过unicode的方式传过来,而数字和字母保持不变,就像这样。

{“Content”:"[reply]CocoWu892[/reply]\n\u6c9f\u901a\u662f\u6700\u91cd\u8981\u7684\u6280\u80fd\u4e4b\u4e00"}

这里就必须涉及到一个带unicode字符串转成正常字符串的过程。网上关于这块问题有很多博客,大部分都是一样的,实现思路是在字符串中找到\n[0-9]{4}字符串,并将匹配到的四位数字通过Integer.parseInt()来转成字符串。我认为一定有开源jar完成了这个工作,我们应该不用自造轮子。经过寻找,发现fastjson能自动的转换unicode字符串。

fastjson,已经实现unicode字符串解析,JSON.parseObject(String)等方法都可以。

实现原理,fastjson实现过程,自造轮子

接下来内容是具体实现,实现方式原理和fastjson的实现方式。

我们先了解一下unicode码,unicode码\u8981\u是标示,告诉你这是一个unicode码,8981是码的内容,是16位数字,根据8981在unicode码库中找到对应字符。\在string中的字符实际是\\8981可以通过(char)Integer.parseInt("8981",16)来转码。

在fastjson中,unicode的解析在JSONLexerBase.scanString()。fastjson字符串(遍历),发现当前字符是"时,便执行该方法。scanString()方法内容如下,遍历之后的字符,如果是,跳出循环;如果是\\进入特殊字符解析,比如\",\n,\u之类,如果是\u便开始unicode解析。

代码语言:javascript
复制
ch = next();
switch (ch) {
  case ...
  
  case 'u':
    char u1 = ch = next();
    char u2 = ch = next();
    char u3 = ch = next();
    char u4 = ch = next();
    int val = Integer.parseInt(new String(new char[] { u1, u2, u3, u4 }), 16);
    putChar((char) val);
    break;
}

如果仅仅做一个unicode解析,可以使用正则进行匹配和替换,这是自造轮子,仿的String.replaceAll();

代码语言:javascript
复制
    public String parseString(String content) {
        String unicodeRegix = "\\\\u(.{4})";
        Pattern pattern = Pattern.compile(unicodeRegix);
        Matcher matcher = pattern.matcher(content);
        StringBuffer sb = new StringBuffer();
        while (matcher.find()) {
            String result = matcher.group(1);
            int val = Integer.valueOf(result,16);
            matcher.appendReplacement(sb, "" + (char) val);
        }
        matcher.appendTail(sb);
        return sb.toString();
    }

调用和结果

代码语言:javascript
复制
    @Test
    public void parseString() {
        UnicodeUtil unicodeUtil = new UnicodeUtil();
        System.out.println(unicodeUtil.parseString("{\"Content\":\"[reply]CocoWu892[\\/reply]\\n\\u6c9f\\u901a\\u662f" +
                "\\u6700\\u91cd\\u8981\\u7684\\u6280\\u80fd\\u4e4b\\u4e00\"}"));
    }

Connected to the target VM, address: ‘127.0.0.1:60255’, transport: ‘socket’ {“Content”:"[reply]CocoWu892[/reply]\n沟通是最重要的技能之一"}

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2019-02-19 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 现象和答案
  • 实现原理,fastjson实现过程,自造轮子
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档