前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Excel催化剂开源第38波-json字符串转多个表格结构

Excel催化剂开源第38波-json字符串转多个表格结构

作者头像
Excel催化剂
发布2021-08-19 15:48:56
9630
发布2021-08-19 15:48:56
举报
文章被收录于专栏:Excel催化剂

作为开发者来说,面对json字符一点不陌生,但对于普通用户来说,更合适的是数据表结构的数据,最好数据已经躺在Excel表格内,不用到处导入导出操作。所以开发者和用户之间是有不同的数据使用思维和需求的。 此篇给大家带来一些新的思路,怎样可以让用户自主地参与到获取数据过程中来,减少开发工作量的同时却收获了用户满意度。

IT领域收智商税的时代终将会过去

作为一个非IT科班出身的笔者,对IT领域的了解也不深,姑且谈下自己的一些小见解。

普通人对IT的出品各种系统和各种软件,可畏爱恨交加。好的系统或软件,带来许多重复性工作的效率提升,不好的系统或软件,一天到晚被虐着做一些无聊的数据录入和忍受各种的不完善。

从老板的角度,IT系统、软件这些,也真的很容易被交智商税,售前吹得天花乱坠,只要给钱,钱到位,什么功能都可以做,上了系统,整个公司就天下无敌了。

当然收费也是天价一般了,大部分非IT人员都感知不到成本有多高,为何可以卖这么贵。

所以从用户被教育的角度来看,收高智商税的时代,终将会过去,就如现在零售市场那样,大家最后都会趟向理性消费,货比三家,只买合适的性价比高的东西,包括IT产品。

怎样可以做一个性价比高的产品?

好像扯远了,回到此篇的json转换功能,笔者理解是:让用户的参与感更多地加进来,不要把用户培养成只会傻瓜式的操作,最大限度地调动用户的自身水平,特别是OFFICE办公软件技能这些能力,加到自己的软件产品使用中来。

为用户造一款最傻瓜式的产品,要考虑的东西肯定多,成本必要增加,产品通用性也大打折扣。

当用户的能力被调动起来后,最终就可以实现类似本篇的功能那样,丢给用户一个json字符串,用户自己去解释它,选择自己要的数据内容,无需过多的开发工作量辅助。

json字符到用户想看的数据的距离

json字符,可以存储整个数据模型dataset,多个表混在其中,有一对一、一对多、多对多的关系结构,必要普通用户难以驾驭。

所以从用户的角度出发,肯定需要界面化操作,引导用户自己选择要哪个表的数据(这个表数据要完全的反规范化,将所有其他一端属性表信息都带进去,方便用户可以马上使用,无需重新手动复杂关联),然后再让用户自己选择需要返回的数据字段,实现一个全动态化、解藕的工具化输出。

核心实现过程和代码

只给大家一段主方法的代码,可以作下参考,具体思路如下:

代码语言:javascript
复制
  private void ConvertJsonToDataTable()
        {
            var jsonInfo = JsonInfos.FirstOrDefault();

            JObject jObject = JObject.Parse(jsonInfo.JsonString);

            ////拿到要遍历的数组路径,需要有【数字】的结构,query获取到最后一是【数字】的结构
            var paths = jObject.Descendants().Select(s => s.Path).Distinct().ToArray();
            var query = paths.Where(s => Regex.IsMatch(s, @"\[\d+\]"))
                                .Select(t => Regex.Match(t, @".+(?=\[\d+\])").Value)
                                .Distinct().ToArray();

            //再将含数字的数组path去掉数字后分组取第1条,为了减少因多层数组嵌套而引起多条记录,产生多个表的情况。
            var arrPaths = query.GroupBy(s => Regex.Replace(s, @"\[\d+\]", "")).Select(t => t.FirstOrDefault()).ToArray();
            //如果没有数组出现时,就遍历所有后代
            int tableIndex = 0;
            if (arrPaths.Length == 0)
            {
                var mainFieldPathList = paths.Select(s => jObject.SelectToken(s)).Where(t => t is JValue).Select(t => t.Parent.Path).ToList();
                var mainFieldList = mainFieldPathList.Select(s => Regex.Replace(s, @"\[.+?\]", "")).Distinct().ToList();//将字段中的【*】或【0】等都替换为空

                var detailFieldList = new List<string>();
                DataTable dataTable = GetDataTableStructure(mainFieldPathList, detailFieldList);

                AddMainFieldDataToDataRow(jObject, mainFieldPathList, ref dataTable, jsonInfo.AddinalFieldData);

                outputTableInfos.Add(
                                    new OutputTableInfo()
                                    {
                                        HasArrayDetail = false,
                                        ArrJsonPath = "唯一表",
                                        MainFieldPathList = mainFieldPathList,
                                        MainFieldList = mainFieldPathList,
                                        DetailFieldList = detailFieldList,
                                        TableIndex = tableIndex,
                                        OutputTable = dataTable
                                    }
                                );
            }
            else
            {

                foreach (var arrPath in arrPaths)
                {

                    List<string> mainFieldPathList = new List<string>();

                    List<string> mainFieldList = new List<string>();
                    List<string> detailFieldList = new List<string>();

                    var arrItemJoken = jObject.SelectToken(arrPath);
                    //获得它的所有子项,不包含后面还有数组的情况,并且把那些不是叶子级的path也过滤了,
                    //replace是只替换最后一个数字编号,之前的属于其父级的数组不替换,但存放的表的字段时要替换

                    var arrPathEscape = arrPath.Replace("[", @"\[").Replace("]", @"\]").Replace(".", @"\.");
                    var detailDecendantsAll = arrItemJoken.Parent.Descendants().Select(s => s.Path)
                        .Where(r => !Regex.IsMatch(r, arrPathEscape + @"\[\d+\].+\[\d+\]"))
                        .Where(t => Regex.IsMatch(t, arrPathEscape + @"\[\d+\].+")).Distinct().ToList();

                    var detailDecendantsDistinct = detailDecendantsAll.Select(n => Regex.Replace(n, @"(?<=.+)\[\d+\]", "[*]"))
                        .Distinct()
                        .ToList();

                    detailFieldList.AddRange(detailDecendantsDistinct.Select(s => Regex.Replace(s, @"\[.+?\]", "")).Distinct());//将字段中的【*】或【0】等都替换为空

                    mainFieldPathList = GetMainFieldPathList(jObject, arrItemJoken);
                    mainFieldList.AddRange(mainFieldPathList.Select(s => Regex.Replace(s, @"\[.+?\]", "")).Distinct());//将字段中的【*】或【0】等都替换为空

                    DataTable dataTable = GetDataTableStructure(mainFieldList, detailFieldList);

                    AddDetailDataToDataRow(jObject, mainFieldPathList, detailDecendantsAll, detailDecendantsDistinct.Count, ref dataTable, jsonInfo.AddinalFieldData);
                    outputTableInfos.Add(
                                        new OutputTableInfo()
                                        {
                                            HasArrayDetail = true,
                                            MainFieldList = mainFieldPathList,
                                            DetailFieldList = detailFieldList,
                                            ArrJsonPath = arrPath,
                                            TableIndex = tableIndex,
                                            OutputTable = dataTable
                                        });
                    tableIndex++;
                }//foreach (var arrPath in arrPaths)
            }//if (arrPaths.Length == 0)
        }

一、因着dataset多表结构的存在,每个数组节点,需要做一个表来存储数据,避免多对多关系的数据返回,引起数据错误、重复和冗余。

每个Array节点要做一个表

二、对Array节点下的子记录进行解释,如子节点下仍然有Array结构,这部分Array结构就不再解释,同样防止多对多的数据结构产生。

若需要解释其下面的子Array时,它就是一张更明细化的表,相对于其父祖宗有Array出现的表来说。

poi数组下不再对children进行解释

三、对本Array以上的祖宗所对应的object结果及其下面的属性字段进行解释,这些部分将构成了对本Array节点下的详细信息描述的一端数据字段。

poi节点的祖宗节点有Root,对其的属性进行解释

四、对本Array的同级兄弟节点进行解释,只

poi节点的同级节点suggestion进行属性解释

五、经历以上对本Array节点、祖宗节点、同级兄弟节点处理完后,需要处理自己的平行节点数据,使用正则进行平等节点的信息都解释。

children节点上还有祖宗级的Array的poi时,需要解释所有poi下所有childern

最终效果

将一串json的dataset结构经过以上解释后,将出现多个表的结构,都是一对多的关系,不存在多对多关系,如下表如示,简单用界面封装下,就可以让用户更轻松自如地操作。

表格1,商圈主题的表格

表格2,兴趣点主题的表格

表格3,道路主题的表格

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-05-09,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Excel催化剂 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • IT领域收智商税的时代终将会过去
  • 怎样可以做一个性价比高的产品?
  • json字符到用户想看的数据的距离
  • 核心实现过程和代码
  • 最终效果
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档