在做数据分列的时候，如果碰到分隔符连续出现的情况，比如用空格分列的时候，有的地方连续几个空格，那到底是分成几个，还是只当做一个来处理？...实际上就是，分列的时候怎么知道要分几列？ 其实我不知道，而是事先通过其他操作步骤得到的。...具体如下： Step-01 重复列 Step-02 按空格分列到行 Step-03 筛选去掉空内容 Step-04 分组统计行数 Step-05 统计最大值 通过上面的操作，即可得到最大会分成几列。...的确是，如果你只是为了用Power Query去复刻Excel里的效果的话，目前只能这么做，但是，如果对Power Query里的操作比较熟练的话，几个步骤连续操作下来其实也很快。...- 2 - 拆行后筛选再分组加索引透视 Step-01 重复列 Step-02 按空格分列到行 Step-03 筛选去掉空内容 Step-04 分组加索引 修改步骤公式如下： 展开得到添加好索引的结果。
关系图.png 简而言之：获取——>分析——>呈现——>发布 1.数据导入Power Query并进行追加查询 新建一个空的excel文件，在导航栏的POWER QUERY中选择从文件——>从Excel...加载至查询编辑器.png ? 修改数据类型为文本.png ? 成功修改数据类型.png ? 添加重复列.png ? 按字符数拆分列1.png ? 按字符数拆分列2.png ? 列重命名.png ?...加载数据至查询编辑器中.png 选定日期这一列，将数据类型改为整数。 ? image.png ? 删除错误行.png ?...成功逆透视结果.png 选择关闭并上载至，在窗口中设置值如下图所示。 ? 上载1.png ? 上载2.png 出现上图所示2月，3月的错误，要设置___单元格格式。 ?...透视1.png 值列为是否完成销售额，点开高级选项，聚合值函数选择不要聚合，最后点击确定。 ? 透视2.png ? 成功透视结果.png ? 加载至原有表.png ?
5.3.4 利用查询中的错误 数据现在看起来干净多了，即使想在操作过程中更改一些列标题。此时，通常建议用户从左到右清洗数据，依次确保它们都是有效的。...5.3.5 删除垃圾列 删除多余的列是非常简单的，只是想在这样做的时候遵循一个过程，以确保它们确实是空的。这个过程很简单如下所示。 筛选该列。 确保筛选的列表中显示的所有值都是空白或空的。...图 5-18 一个不同的值，但没有空值，是这样吗 在这一列的情况下，可以看到，虽然只有一个值，但它没有填充空单元格。...由于这个文件充满了空格，并根据宽度进行分割，每个单元格都包含 15 个空格（可以通过单击单元格并在左下方的值预览中选择字符来确认）。这并不是真正的空，但它是一致的和不需要的。...要把它分成几个部分，需要考虑到的一件事是，不知道是否有供应商在他们的公司名称中使用了连字符，所以不希望在分割时过于激进。 右击合并后的列（“已合并” 列），【拆分列】【按分隔符】。
使用频率最高的一般有12个小招: 首行作标题、修改数据类型、删除(重复、错误、空项目)、拆分、提取、合并、替换、填充、移动、排序、格式、逆透视。 ? ?...2 修改数据类型 我们使用PowerBI时数据类型的不匹配是常常犯的错误，如果你发现数据输出的结果有问题，第一时间先想想是不是因为数据的类型定义有问题。...3 删除重复、错误、空项目 这个功能与Excel非常相似，当我们想剔除表中的重复行、错误项目时，右键单击列，删除重复项或删除错误。如果我们想要删除空白的项目，点击筛选箭头，删除空选项。 ?...7 替换 替换与Excel中的Ctrl+F的查找替换功能基本一样，有替换值和替换错误两个选项。 ?...11 格式 在拆分列选项旁边还有个ABC格式选项，里面包含了几种常见而非常好用的文本处理功能，更改大小写；修整的功能是除去文本首尾空格和文本间不必要的空格(Excel里对应使用Trim函数，比如" Power
Query编辑器 2.1 初识Power Query 2.2 编辑器管理界面介绍 2.3 创建查询的方法 2.4 数据源路径的修改与设置 2.5 数据上载与刷新 第3章 Power Query的基本操作实例...3.4.1 实例1：按分隔符拆分列 3.4.2 实例2：按字符数拆分列 3.4.3 实例3：按位置拆分列 3.4.4 实例4：其他拆分列的方法 3.4.5 合并列常用的方法 3.5 透视列与逆透视列操作...3.7.3 实例2：使用分组统计功能快速计算各部门的数据 3.8 追加查询与合并查询 3.8.1 实例1：使用追加查询批量合并多个Excel工作表数据 3.8.2 认识合并查询的6种类型 3.8.3...在数据透视表中使用自定义排序：按列排序 9.1.2 实例2：在数据透视表中创建KPI规则——设置“条件格式” 9.2 在DAX中使用VAR变量 9.2.1 关于VAR变量 9.2.2 使用变量时应该避免的错误...函数建立查询表 9.4.3 实例2：使用SELECTCOLUMNS函数建立查询表 9.4.4 实例3：使用SUMMARIZE和SUMMARIZECOLUMNS函数分组汇总数据 9.5 Power Pivot
点击关注 不迷路 使用Power Query处理数据（一） 什么是Power Query？ PowerQuery是一个微软创建的基于Excel的免费插件，可以在Excel2010（及更高版本）使用。...使用Power Query就可以快速的完成，接下来我们就来看一下如何操作吧！...2 选择列 在右侧查询功能区双击工作表，进入编辑器界面。单击【选择列】-选中【电影名】和【电影类型】。 3 拆分列 单击【电影类型】-【拆分列】-【按分隔符】-【每次出现分隔符】。...4 逆透视 单击【电影名】-【转换】-【逆透视列】-【逆透视其他列】，然后删除对我们没有利用价值的列【属性】，修改列【值】的名称为【电影类型】，点击【文件】-【关闭并上载】，完成啦~ 5 小结 Power...掌握Power Query可以让我们的工作效率得到大幅度的提高！ 点它，分享点赞在看都在这里
为什么这个XML中的数据用Power Query里的“分析-XML”功能提取不出来？...其实，显示这个错误的意思就是：cao，这个XML不按套路（标准）出牌，Power Query认不出来！...类似这种规则比较明显（某些系统开发过程中按需要自定义的格式）而又不是规范XML的情况，如果要用Power Query来提取其中的数据，除了考虑用比较麻烦的多次分列方法外，还可以想办法将其转换成标准的XML...格式，具体步骤参考如下： Step 01将其中的" a"（空格+a）替换为空 Step 02将其中原各元素之间的分割符号替换为空 Step 03通过替换起始符号的方式给内容加上元素名称
此时，数据加载到 Power Query 中并创建两个查询步骤：“Source” 和 “Changed Type”，如图 7-3 所示。...如果这些列在未来不存在，用户最终会收到一个步骤级错误，该错误阻止了数据加载，需要解决。根据经验，人们构建 “逆透视” 解决方案是为了让数据在超过一个时期的时候可以继续使用，所以这成为一个大问题。...好消息是，这使得当新的日常数据列被添加到数据源时，很难触发错误或者出现不可控制的情况。...图 7-13 【按分隔符拆分列】对话框 在这个对话框中，有如下几件事需要注意。 Power Query 会扫描它认为是分隔符的内容，并且在大多数情况下，会得到正确的结果。...单击这个选项会要求 Power Query 扫描更多的数据，它会这样做，直到它扫描达到 1000 个唯一值为止，因为这是可以在下拉列表中显示的最大值。
如果需要忽略的维度比不忽略的多，则可以使用AllExpect函数 2. AllExpect A....分列数据的方法比较 如何在Power Query中提取数据？——文本篇 如何在Power Query中提取数据？——数值篇 如何在Power Query中提取数据？...分列数据的方法比较 如何用Power Query处理Excel中解决不了的分列 Power Query中如何把多列数据合并？ Power Query中如何把多列数据合并？...(合并查询) 函数应用案例： 如何快速找出包含英文关键词的数据？...（拆分列, try...otherwise..., Text.PadStart） 如何添加前缀和后缀？
，单值或者结构化类型的值作为结果 list 的第一项。...如果不设置该参数，则第二个参数返回值为 false 时退出循环，将当前的结果 list 作为函数的返回值。 有一段 python 语法伪代码，可以让我们更好的理解函数的功能。...这段代码来自：Loops in Power Query M language def List.Generate(start, condition, next, transform=None):...在 Power Query 中创建一个空查询，进入高级编辑器，在高级编辑器中输入下面的代码： let Source = List.Generate( () => 1,...基于我在参考部分列出的文章示例，我对文中的示例进行了改编，假设根据员工在不同 team 的异动记录，计算出在各 team 的起止日期，结束日期为在下个 team 的开始日期 - 1： [20190919222259561
NPE事发场景 参数是Integer等包装类，自动拆箱时 字符串比较 如ConcurrentHashMap这种不支持K.V为null的容器 A对象含B对象，通过A对象的字段获得B对象后，没有判空B就调用...参数校验： 对传入的UserDTO和ID属性先判空，若为空，抛IllegalArgumentException 根据id从DB查询出实体后判空，若为空，抛IllegalArgumentException...然后，由于DTO中已经巧妙使用了Optional来区分客户端不传值和传null值，那么业务逻辑实现上就可以按照客户端的意图来分别实现逻辑。...如果不传值，那么Optional本身为null，直接跳过Entity字段的更新即可，这样动态生成的SQL就不会包含这个列；如果传了值，那么进一步判断传的是不是null。...为测试使用Optional是否可以有效区分JSON中没传属性还是传了null，在JSON中设个null的age，结果是正确得到了年龄不能为空的错误提示： curl -H "Content-Type:application
二、踩坑姿势 2.1 自动拆箱空指针异常 如调用类似下面这种格式的二方服务接口， 如果不进行判空而直接使用，则很容易碰到空指针： 正确的使用姿势应该是： 2.2 RPC接口返回null 二方服务的批量查询接口如果数据量大容易超时...，因此我们可以分批查询，参加下面代码： 看似没啥问题，先将参数集合拆分成 多个小集合，然后调用传入的接口查询。...三、预防 3.1 手册 《阿里巴巴 Java编程规范》 给出了空指针的一些常见场景： 返回类型为基本数据类型，return 包装数据类型的对象时，自动拆箱有可能产生 NPE 数据库查询结果可能为null...集合元素即使 isNotEmpty,取出数据元素可能为null 远程调用返回对象时，一律要求进行空指针判断，防止 NPE 对于 Session 中获取的数据，建议进行 NPE 检查，避免空指针...四、预发空指针 4.1 作为接口提供方或者编写者 编写接口时 如果返回值为集合类型，如果没值尽量返回空集合。
但是我们的项目又经常会抛出空指针异常，空指针异常必然常伴Java程序员。...其中以下的情况会产生NullPointerException 调用空对象的方法， 访问或者修改对象的字段值时 获取一个空对象（数组）的长度时， 修改或者回去null数组的一个元素或者值时 抛出异常时，抛出...返回类型为基本数据类型，return包装数据类型的对象时，自动拆箱有可能产生NPE。 数据库的查询结果可能为null。 集合里的元素即使isNotEmpty，取出的数据元素也可能为null。...自动拆箱的NPE 如下代码中，代码逻辑出现问题的话，返回就是null。 public int count(){ Integer integer = null; 。。。。。。...Java新版本中的NullPointException的详细信息的输出对我们定位错误帮助很大，也是一个强有力的问题排查方法。
数据分析的源数据应该是规范的，否则将数据表导入Banber等数据可视化平台时，就会因表结构错误，不利于统计和分析，无法生成可视化图表或可视化图表错误。 PART ONE 什么是规范的表结构？...此时，就弹出了Power Query编辑器，上图的二维表较为复杂，行标题和列标题均带有层次结构。 ? 3....因为对合并单元的拆分，表格中有很多null空值，选中第一列，点击转换——填充——向下，对空值数据进行向下填充； ? 此时，第一列的空值数据就会被补齐。 ? 4....此时纵向的表格就转置成横向，同样的方法，点击转换——填充——向下，对第一列null空值进行补齐。 ? ? 7. 选中第一行，点击主页——将第一行用作标题。 ?...如下图所示，二维表就已经转换成了一维表，点击转换——拆分列，可在下拉列表中按需求拆分之前合并的年度和季度列，如果之前选择了分隔符，可以按分隔符拆分。 ?
前些天，有朋友在问，为什么这个XML中的数据用Power Query里的“分析-XML”功能提取不出来？...其实，显示这个错误的意思就是：这个不是标准的XML，Power Query里自然也不能准确识别。...虽然看起来有点儿像属性的罗列式，但实际上又将每个元素（fromAcct.actNo……)进行了罗列，而用了同一个属性（a），所以，类似这种规则比较明显（某些系统开发过程中按需要自定义的格式）而又不是规范XML的情况，如果要用Power...Query来提取其中的数据，除了考虑用比较麻烦的多次分列方法外，还可以想办法将其转换成标准的XML格式，具体步骤参考如下： Step 01将其中的" a"（空格+a）替换为空 Step 02将其中原各元素之间的分割符号替换为空
有朋友问，为什么这个XML中的数据用Power Query里的“分析-XML”功能提取不出来？...其实，显示这个错误的意思就是：这个不是标准的XML，Power Query里自然也不能准确识别。...虽然看起来有点儿像属性的罗列式，但实际上又将每个元素（fromAcct.actNo……)进行了罗列，而用了同一个属性（a），所以，类似这种规则比较明显（某些系统开发过程中按需要自定义的格式）而又不是规范XML的情况，如果要用Power...Query来提取其中的数据，除了考虑用比较麻烦的多次分列方法外，还可以想办法将其转换成标准的XML格式，具体步骤参考如下： Step 01将其中的" a"（空格+a）替换为空 Step 02将其中原各元素之间的分割符号替换为空
概述 1 查询表中所有的行与列 2 从表中检索部分行 3 查找空值 4 将空值转换为实际值 5 查找满足多个条件的行 6 从表中检索部分列 7 为列取有意义的名称 8 在 WHERE 子句中引用取别名的列...null值 “=”判断，需用is null判断 select * from emp where comm is null; null值也不支持 加减乘除 大小比较 相等比较，否则只能为空。...---- 1.4 将空值转换为实际值 select coalesce(comm,0) from emp; 有人会问，为什么不是nvl 而是 coalesce呢？ 因为coalesce更好用。...看下面这个例子，返回多个值中第一个不为空的值。...比如 ，查询部门号10中的所有员工、所有得到提成的员工、以及部门20中工资不超过2000的员工。 这是三个条件的组合，符合上述任一一条即可。
excel分列可以解决，但是表达量数据较大，且excel容易产生“数据变形”。...二 合久可分-一列拆多列 使用separate函数， 将“指定”分隔符出现的位置一列分成多列 2.1 默认，不指定分隔符 data %>% separate(ID, into = c("Gene",...separate或者help(separate)查询帮助函数，发现"|"为特殊字符，可以使用"[|]"括起来或者"\\|"： data %>% separate(ID, into = c("Gene1...2.4，按照第几个字符拆 根据第几个字符拆分，适合数据规整的，，， 可以用来将TCGA中的sampleID转为常见的16位，需要先转置 data2 %>% select(Gene1,contains...可参考：盘一盘Tidyverse| 筛行选列之select，玩转列操作 Tips： 1）数据分列可以先默认试一下，如2.1所示 2）使用R的帮助，一定！
前言 《手册》的第 7 页和 25 页有两段关于空指针的描述： 【强制】Object 的 equals 方法容易抛空指针异常，应使用常量或确定有值的对象来调用 equals。...数据库的查询结果可能为 null。 集合里的元素即使 isNotEmpty，取出的数据元素也可能为 null。 远程调用返回对象时，一律要求进行空指针判断，防止 NPE。...空指针引发的血案 3.1 最常见的错误姿势 @Test public void test() { Assertions.assertThrows(NullPointerException.class...这个哥们这么写之后，上层判断返回值不为 null , 上层就放心大胆得调用实例函数，导致线上报空指针，就造成了线上 BUG。...当 GoodCreateDTO 的 count 属性为 null 时，自动拆箱将报空指针。
TVF 功能为 Apache Doris 提供了直接将对象存储或 HDFS 上的文件作为 Table 进行查询分析的能力。...修复偶现的多层聚合被合并后规划错误的问题。修复偶现的聚合扩展规划报错输入输出不匹配的问题。修复偶现的 被错误转换为 = 的问题。...主键模型修复在有部分列更新导入的情况下发生异常重启，可能会产生重复 Key 的问题。修复在内存紧张时发生 Clone 时 BE 可能会发生 core 的问题。...数据导入修复 CANCEL LOAD 命令不生效的问题。修复导入事务 Publish 阶段空指针错误导致导入事务无法完成的问题。修复 bRPC 通过 HTTP 发送大数据文件序列化的问题。...修改 SHOW PROCEDURE STATUS 语句返回值与 MySQL 协议不兼容的问题。libevent 库强制开启 Keepalive 以解决部分情况下连接泄露的问题。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
腾讯会议
云直播
对象存储
