专栏首页后端开发随笔fastjson存在乱序的问题

fastjson存在乱序的问题

现象及原因

通常来讲,在使用json数据格式时一般不需要要求数据有序。但凡事都有例外,针对查询时序数据这样一个场景,就必须要求服务器端返回的数据是按时间有序的,否则前端在进行数据展示时就会有问题。 项目架构如下:

数据从OpenTSDB中查询出来的时候是有序的:

[{
    "metrc":"cpu.usage",
    "dps": {
        "123456": 12,
        "123457": 13,
        "123458": 23,
        "123459": 32
    }
}]

执行如下操作:

JSONObject.parseArray(json)

结果查看对应的JSON数组中的map数据是乱序的,可能的结果如下:

[{
    "metrc":"cpu.usage",
    "dps": {
        "123457": 13,
        "123456": 12,
        "123459": 32,
        "123458": 23
    }
}]

原本希望时序数据是按时间Key有序的,但是经过fastjson解析之后就会出现Key乱序。实际上,这个问题是fastjson本身的bug,详见:https://github.com/alibaba/fastjson/issues/660 。

解决办法

如下以解析从OpenTSDB中查询返回的时序数据为例。

1.升级fastjson版本

fastjson从1.2.3版本开始,在解析json对象时可以指定Feature.OrderedField参数,这样解析的结果就不会乱序。

public static void main(String[] args) {
    // 模拟从OpenTSDB中查询返回的时序数据
    String str = "[{\"metric\":\"temperature\",\"tags\":{\"device_id\":\"device-12312-14\",\"dt_name\":\"dsdsdsd\"},\"aggregateTags\":[],\"dps\":{\"1538210186542\":30,\"1538210191574\":83,\"1538210196597\":41,\"1538210201624\":56,\"1538210206654\":20,\"1538210211677\":25,\"1538210216700\":54,\"1538210221740\":36,\"1538210226773\":89,\"1538210231813\":8,\"1538210236847\":34,\"1538210241882\":83,\"1538210246916\":96,\"1538210251952\":42,\"1538210257002\":6,\"1538210262038\":87,\"1538210267076\":19,\"1538210272108\":44,\"1538210277139\":84,\"1538210282176\":41,\"1538210287216\":57,\"1538210292254\":26,\"1538210297283\":64}}]";

    // 直接使用fastjson的接口实现有序解析
    JSONArray array = JSONArray.parseObject(str.getBytes(), JSONArray.class, Feature.OrderedField);
    System.out.println(array.getJSONObject(0).getJSONObject("dps").toJSONString());
}

实际上,追踪一下fastjson的实现源码发现,当传递参数Feature.OrderedField时,底层正是使用LinkedHashMap来实现Key有序的(LinkedHashMap是按插入顺序排序):

public JSONObject(int initialCapacity, boolean ordered){
    if (ordered) {
        // 使用LinkedHashMap保证json对象的key是按照插入顺序有序的
        map = new LinkedHashMap<String, Object>(initialCapacity);
    } else {
        map = new HashMap<String, Object>(initialCapacity);
    }
}

2.手动排序

除了可以直接通过fastjson的接口在解析时就实现有序,还可以对解析结果进行手动排序。

public static void main(String[] args) {
    // 模拟从OpenTSDB中查询返回的时序数据
    String str = "[{\"metric\":\"temperature\",\"tags\":{\"device_id\":\"device-12312-14\",\"dt_name\":\"dsdsdsd\"},\"aggregateTags\":[],\"dps\":{\"1538210186542\":30,\"1538210191574\":83,\"1538210196597\":41,\"1538210201624\":56,\"1538210206654\":20,\"1538210211677\":25,\"1538210216700\":54,\"1538210221740\":36,\"1538210226773\":89,\"1538210231813\":8,\"1538210236847\":34,\"1538210241882\":83,\"1538210246916\":96,\"1538210251952\":42,\"1538210257002\":6,\"1538210262038\":87,\"1538210267076\":19,\"1538210272108\":44,\"1538210277139\":84,\"1538210282176\":41,\"1538210287216\":57,\"1538210292254\":26,\"1538210297283\":64}}]";

    // 解析之后手动排序
    JSONArray array = JSONArray.parseArray(str);
    System.out.println(array.toJSONString());
    JSONObject json = array.getJSONObject(0);
    // 不传递参数Feature.OrderedField时解析得到的json对象key是无序的,本质上是一个HashMap结构
    Map<String, Object> map = json.getJSONObject("dps").getInnerMap();
    // 通过TreeMap对Key进行排序
    map = sortMapByKey(map);
    JSONObject dps = new JSONObject();
    dps.put("dps", map);
    System.out.println(dps.toJSONString());
}

private static Map<String, Object> sortMapByKey(Map<String, Object> map) {
    if (map == null || map.isEmpty()) {
        return null;
    }
    Map<String, Object> sortMap = new TreeMap<String, Object>(new MapKeyComparator());
    sortMap.putAll(map);
    return sortMap;
}

private static class MapKeyComparator implements Comparator<String> {
    @Override
    public int compare(String str1, String str2) {
        return str1.compareTo(str2);
    }
} 

【参考】 https://dzone.com/articles/hashmap-vs-treemap-vs HashMap vs. TreeMap vs. HashTable vs. LinkedHashMap

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • tomcat cluster配置实战注意事项

    关于tomcat cluster的实现原理,详见:https://tomcat.apache.org/tomcat-7.0-doc/cluster-howto....

    2Simple
  • 解决在MAC上输入法切换慢的问题

    Mac Book Pro升级到Catalina 10.15.1 之后,不论是系统自带的中文输入法,还是安转的第三方中文输入法,当使用快捷键“Ctrl + Spa...

    2Simple
  • Docker实践之02-使用镜像及定制

    Docker运行容器前需要本地存在对应的镜像,如果本地不存在该镜像,Docker会从镜像仓库下载该镜像。 从Docker镜像仓库获取镜像的命令是docker ...

    2Simple
  • ES6基础语法之箭头函数

    ES6直接在参数中=默认值就解决,上述中只是出一个参数的默认值,多个参数下ES6的便利性毋庸置疑!

    十月梦想
  • rxjs pipe和map组合的一个实际例子的单步调试

    原始的Observable就是调用了range之后生成的Observable对象:

    Jerry Wang
  • 联想Z470黑化之路:硬件升级还能刷苹果Mac系统!

    11年入手了一台联想Z470,到现在也有些年头了,当年是看中了它的外观,现在想来性能是它的短板。然而为了工作需要,我便又购置了一台高性能电脑。现如今便想着怎么处...

    FB客服
  • 3、SQLSVR安装及配置

    py3study
  • 添加swagger api文档到node服务

    swagger,一款api测试工具,详细介绍参考官网:http://swagger.io/ ,这里主要记录下怎么将swagger api应用到我们的node服务...

    用户1141560
  • 【C++】八皇后问题(竖列递进)

    八皇后问题是一个古老的问题,于1848年由一位国际象棋棋手提出:在8×8格的国际象棋上摆放八个皇后,使其不能互相攻击,即任意两个皇后都不能处于同一行、同一列或同...

    看、未来
  • kubernetes工作记录(1)——kubernetes1.7.4版集群的离线安装搭建过程记录

    之前将近一个月的时间算是初步入门了kubernetes,现在对之前的学习工作进行整理记录,将所有的内容有机的串联起来。 对照网上已有的内容和自己过去的博客,整理...

    胡了了

扫码关注云+社区

领取腾讯云代金券