首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Power Query 真经 - 第 3 章 - 数据类型与错误

3.1.3 如何设置格式 简而言之, Power Query 不需要设置格式。 在数据类型与格式之争,查询编辑器的主要作用是设置数据类型,而不是格式化数据。为什么呢?...即使查询后面的一个新步骤更正了数据类型,此时这些值也已经被四舍五入了。 【注意】 可能会想知道为什么 Power Query 不直接覆盖上一步而无需询问。...虽然这在某些情况下可以工作,但在数据类型仍然定义为【任意】数据类型的情况下,将数据加载到工作表或数据模型是非常危险的。为什么呢?...图 3-10 对不起,你不能刷新这个文件 由于它阻止了文件的加载,所示此时正在处理一个步骤级错误。 3.4 步骤级错误 Power Query 触发两个最常见的步骤级错误如下所示。...【注意】 处理错误时,最好总是单击 Power Query 编辑器【主页】选项卡上的【刷新预览】按钮。这将确保没有使用预览的缓存版本,因为缓存版本不会显示正在查找的错误。

5.3K20

Power Query 真经 - 第 1 章 - 基础知识

Power Query 总是在数据副本上工作,所以并不会损害真正的原始数据源。这给了用户重要的能力,可以肆意尝试任何按钮,并了解 “想知道点这里会发生什么” 这个问题。...(译者注:这是用来学习 Power Query 的重要技巧,这符合人的自然学习天性,即:第一步:随便试试看。第二步:哦,理解了。第三步:用用看。第四步:忘了,但我已经掌握了。...Power Query 的操作可以大胆尝试,不会出现任何风险。从这个意义上:单位时间内尝试的次数决定了学习掌握 Power Query 的学习时间。)... Power BI :转到【主页】【刷新】。 在此之后,剩下的工作就是等待 Power Query 从文件读取数据,对数据进行处理,并加载到 Excel 表或 Power BI 的数据模型。...正在学习 Power Query 吗?可以加入本主题的交流群一些交流分享

4.8K31
您找到你想要的搜索结果了吗?
是的
没有找到

1个实际工作问题,15种解法,练好22个函数!

一直以来,都在设想找一些相对简单而又能多练几个函数的案例,当在群里看到本文中需求的时候,突然脑洞大开,基于这个问题,将Power Query的List类和Text类常用函数给撸了一遍,...问题如下: 有一个产品名称(实际工作当然是很多的,此仅以一个为例) 有一堆常见的搜索关键词 希望知道哪些搜索关键词都被包含在了这个产品名称(实际数据分析中常常以此方法来判断某个产品名称的综合搜索人气或热度...9、直接判断某个List是否全包含另一个List 将内容和搜索词均转换为列表,然后用List.ContainsAll函数判断内容列表是否全包含搜索词列表。这个最判断最简单直接。...Text.Contains List.Sum List.Accumulate List.Combine List.TransformMany List.Generate Text.Middle List.AllTrue List.ContainsAll...List.Generate,还有些用法或概念上比较类似的函数,比如List.RemoveMatchingItems和List.RemoveItems,List.MatchesAll和List.AllTrue等,这些后续会用更多案例进行分享

51950

笨办法学 Python · 续 练习 4:处理命令行参数

挑战性旨在让你了解如何做某事,然后你可以看看我如何做的,并与你的工作进行比较。不会先给你代码,并且你需要把它写出来。你不再是初学者了。你现在正在阅读一个挑战,然后你必须解决它。...这些练习是开放式的,因为不同的人在给定的时间内完成不同的工作量。你只是使用时间约束,来找出你的工作方式,而不是弄清楚你是一个糟糕的程序员还是一个伟大的程序员。...因为这个练习是一个 spike,你应该这样,如果你测试过程感到痛苦,你可以放弃它并尝试另一件事。开始尝试用sys.argv解决这个问题,然后如果你不能想出来,尝试使用argparse。...你正在尝试45分钟内做任何事情。如果你的技术水平是这样的,你完成了一个ex4.py文件,没有别的,那么你45分钟内做了一些事情。...然后,你应该看看为什么所做的一切都是开始编写这个文件,弄清楚下一步需要做什么,然后尝试另一个45分钟的流程。

36430

PP-数据建模:明明删除了重复项,为什么还是说有重复值?

下面模拟一份数据来简单说明一下这种情况。如下图所示,以姓名列为基础进行删除重复项: 结果没有找到重复值: 为什么呢?...至此,谜团终于揭开,并且,可以简单总结一下了: 1、如果相同的内容,一个后面没有空格,而另一个后面有空格,那么,Excel里面,这是两项不一样的内容,也不能通过删除重复项清除(Power Query...里也同样不能); 2、但是,对于Power Pivot来说,无论后面是否有空格,在数据添加到数据模型时,文本后面的空格会被删除(我们可以从模型中将数据复制到Excel查看),因此会被识别为重复项; 3...、空格在前面的情况不会被处理,即相同的内容,如果一个前面有空格,而另一个没有,那么无论Excel、Power Query还是Power Pivot,都会被当做不同的项目。...啰啰嗦嗦写了这么鬼长,其实就一个核心知识点:文本后面的空格Power Pivot中被忽略(删除)了!大家还可以尝试用更多的方法去验证它。

3.1K20

VLookup及Power Query合并查询等方法大量多列数据匹配时的效率对比及改善思路

,分别对四种方法建立单独的工作簿,每次仅打开一个工作簿进行独立操作,如下图所示: 公式法统一第一行写上公式,然后统一向下扩展填充至所有行,从开始填充起计算至填充完成的时间,如下图所示:...Query合并查询,按常规表间合并操作如下图所示: 五、4种方法数据匹配查找方法用时对比 经过分别对以上4方法单独执行多列同时填充(Power Query数据合并法单独执行数据刷新)并计算时间,结果如下表所示...: 从运行用时来看: VLookup函数和Index+Match函数的效率基本一样; Lookup函数大批量数据的查找效率最低,甚至不能忍受; Power Query的效率非常高。...六、 对公式法的改进 考虑到仍有大量的朋友没有使用PowerQuery,在想: 是否有可能对公式进行一定程度的改进,以实现效率上的提升? PowerQuery的合并查询效率为什么会这么高?...思考这些问题的时候,突然想到,Power Query进行合并查询的步骤,其实是分两步的: 第一步:先进行数据的匹配 第二步:按需要进行数据的展开 也就是说,只需要匹配查找一次,其它需要展开的数据都跟着这一次的匹配而直接得到

3.8K20

VLookup等方法大量多列数据匹配时的效率对比及改善思路

,分别对四种方法建立单独的工作簿,每次仅打开一个工作簿进行独立操作,如下图所示: 公式法统一第一行写上公式,然后统一向下扩展填充至所有行,从开始填充起计算至填充完成的时间,如下图所示:...Query合并查询,按常规表间合并操作如下图所示: 五、4种方法数据匹配查找方法用时对比 经过分别对以上4方法单独执行多列同时填充(Power Query数据合并法单独执行数据刷新)并计算时间,结果如下表所示...: 从运行用时来看: VLookup函数和Index+Match函数的效率基本一样; Lookup函数大批量数据的查找效率最低,甚至不能忍受; Power Query的效率非常高。...六、 对公式法的改进 考虑到仍有大量的朋友没有使用PowerQuery,在想: 是否有可能对公式进行一定程度的改进,以实现效率上的提升? PowerQuery的合并查询效率为什么会这么高?...思考这些问题的时候,突然想到,Power Query进行合并查询的步骤,其实是分两步的: 第一步:先进行数据的匹配 第二步:按需要进行数据的展开 也就是说,只需要匹配查找一次,其它需要展开的数据都跟着这一次的匹配而直接得到

4.1K50

Power Query 真经 - 第 6 章 - 从Excel导入数据

与任何数据源一样,当从 Excel 表导入时,Power Query 将获得数据,然后尝试为每一列设置数据类型。应该注意到,在这个过程,Excel 工作的数据格式被忽略了。...将【表名称(最左边)】改为 “SalesData”(没有空格)。 为什么要这样做?因为表名是工作簿导航结构的一个重要组成部分。...那么,如果不能选择它,怎么能用 Power Query 连接到它呢? (译者注: Excel 公式栏左边的名称框是无法引用到动态区域的,即使给它其一个名字,如图 6-x-5 所示。...创建一个新的查询,进入【数据】选项卡,【获取数据】【来自文件】【从工作簿】。 【警告】 Power Query 不能从一个打开的工作簿读取数据。...注意,当提升标题时,Power Query 自动为该列添加了一个数据类型,将列名硬编码到步骤,如图 6-20 所示。 图 6-20 为什么 “Column7” 是个问题?不能直接删除它吗?

16.4K20

BI数据隐私防火墙的内在情况

数据隐私防火墙的用途很简单:存在以防止Power Query无意中源之间泄露数据。为什么需要这一点? 是说,你当然可以创作一些 M,它将SQL值传递给 OData 源。 但这将是有意的数据泄露。...为什么需要防止意外数据泄露?答案? 折叠。折叠?折叠是指在 M ((例如筛选器、重命名、联接等)) 将表达式转换为对原始数据源 ((如 SQL、OData) 等)的操作的术语。...Power Query功能的重要组成部分来自 PQ 可以通过用户界面将用户执行的操作转换为复杂的SQL或其他后端数据源语言,而无需用户知道上述语言。...为什么防火墙应该关心分区是否想要访问数据源并引用分区?让我们来分解一下,一次一条地查看上述规则。什么是分区?最基本的级别,分区只是一个或多个查询步骤的集合。...如果不熟悉步骤,可以“应用步骤”窗格中选择查询后,Power Query 编辑器窗口右侧查看它们。 步骤可跟踪将数据转换为最终形状所做的一切。

71410

使用Power Query之前一定要这样设置你的Excel

Power Query堪称神器,以极低的学习成本帮我们Excel和Power BI自动化很多数据处理工作。但是,稍微不注意,你制作的自动化工具可能就会埋下地雷,在下次刷新数据时爆炸。...1.埋雷过程 ---- 假设有以下储存在Excel的销售数据源,我们将其导入Power Query处理成标准格式。...Excel 2016导入界面 Power Query后台,只需点击“将第一行用作标题’,表格即变为规范的格式。 "将第一行用作标题”动画 设置完成后,尝试刷新,非常顺畅。...Power Query后台,点击“文件-选项和设置-查询选项”,将“类型检测”勾选去掉。如此设置后再开始Power Query操作将会彻底排除此种隐患。...遗憾的是目前该设置只支持当前工作簿,也就是说你有另外工作任务需要使用Power Query时要重新设置。 最后还有一个问题,更改数据类型有没有必要?有。但不是系统帮我们改,而是我们自己改。

1.8K20

Chris Webb:从另一个BI平台迁移到BI时应避免的五个错误

在这篇文章将重点介绍一些常见的错误,这些错误是看到人们迁移到Power BI时犯的,这样您就可以避免自己犯错。...许多BI平台喜欢将它们的数据合并到一个大表,有时甚至将不同粒度的数据存储同一张表。另一方面,Power BI喜欢将其源数据建模为星型模式。...如果您正抱怨为什么不能只编写SQL查询来获取需要构建的该图表的数据,那么说明你已经危险的边缘游荡了。...这些表Power BI的呈现速度可能很慢(尤其是如果它们具有成百上千的行),而且,它们并不能使数据易于理解-始终可以使用更好的可视化选项。...的同事亚当(Adam)和帕特里克(Patrick)最近的一段值得观看的视频详细讨论了这个问题。 另一个更具体的示例是要求最终用户更改Power BI报表的视觉效果显示的度量或字段的要求。

1.6K10

python数据处理,pandas使用方式的变局

前段时间公司技术分享会上,同事介绍了目前市面上关于自动生成 pandas 代码的工具库。我们也尝试把这些工具库引入到工作流程。经过一段时间的实践,最终还是觉得不适合,不再使用这些工具库。...比如 power bi 的数据处理工具 power query。它可以解决一部分的问题,但远远没达到 pandas 的灵活。...另一个让印象深刻的工具就要数 tabluea 的数据工具 —— prep 本质上它与 power query 大同小异,不过它可以让流程可视化。...下面是 prep 的工作界面: 每次操作都能生成流程图上体现,并且每一个节点都可以查看它的输入数据和输出结果。 那时候一下子明白了,为什么不管怎么规范和模块化pandas代码,总是感觉很难管理。...既然上面说的 tableau prep 这么好,为什么不直接用它?因为它是收费的。并且它也无法做到自定义功能。 难道就不能破局吗?其实从未放弃。

26420

Power Query 真经 - 第 5 章 - 从平面文件导入数据

即使用户建立了解决方案并将其发送给其他人,这也是正确的,他们将看到他们系统的格式。 现在知道了这些设置的控制位置,来看看为什么使用 Power Query 时这很重要。...图 5-4 导入带有分隔符的文件到 Power Query 编辑器 【注意】 请记住,Power Query尝试解析数据类型,使用【控制面板】的【区域】设置来识别这些数据元素。...要想快速进入美国英语区域,请输入这个地区的首个英文字母,当然,前提是此时的 Power Query 正在英文环境下运行。...对于许多 Excel 专业人员来说,他们工作的一个主要部分就是将这些信息导入 Excel 并进行清理。而这些工作,实际和业务无关,也不能创造任何商业价值。...图 5-22 从文本文件构建的【数据透视表】 很多人会提出问题,到目前为止,本章完成的所有工作都完全可以用标准的 Excel 来完成。那么为什么需要 Power Query 呢?

5.1K20

这十个问题,Power Query初学者经常问

Ø Excel2016里已经是一个完全融合在一起的功能,跟数据透视等等功能一样,也没专门叫Power Query,所以导致你可能不知道它的存在而已。...Ø 只是Excel2010和Excel2013里,PowerQuery是微软的一个官方插件,需要单独下载安装。 ---- 【问-2】为什么要学Power Query? 【答】为什么要学Excel?...---- 【问-5】Excel2003或2007能用Power Query吗? 【答】不能。 ---- 【问-6】安装Power Query插件有什么要求?...id=39379 【问-8】Excel都还没学好,是否合适学Power Query?...---- 【问-10】看到某些关于Power Query的书或文章上都是一堆堆的代码,而且跟Exel的公式函数完全不一样,代码又很长,完全懵逼啊,学得会吗?

1.4K30

Power Query 真经 - 第 9 章 - 批量合并文件

在这一章,将通过这个标准模式的每个部分,向用户展示它是如何工作的,以及为什么这些步骤很重要。然而,在这之前,理解将要构建的内容体系结构是很重要的。...验证了用户可以访问数据源之后,用户会得到初始预览窗口,此时用户可以选择【加载数据】,或者加载前到 Power Query 编辑器重新塑造数据。...然后在下次尝试连接时,会被再次提示输入【站点 URL】。 一旦用户凭据通过验证,Power Query尝试连接到文件夹。如果输入的是一个有效的 URL,它将展示预览窗口。...【注意】 专业提示:虽然看起来合并步骤只能访问每个文件的一个对象,但实际上并非如此。如果需要合并多个工作簿的多个工作表,或者是每个工作簿的第二个工作表,而且的确可以做到。...特别是考虑到 Power Query 不能被配置为只更新新的或数据发生改变的文件。每次用户单击【刷新】按钮时,Power Query 都会重新加载文件夹中所有文件的所有数据。

4.7K40

| Power Query实战

财务报表里,经常出现相同金额正负抵消的情况,比如下面模拟的简单数据:大海的100和-100抵消,小勤的50和-50抵消,只剩下其他不能抵消金额。该怎么办?...实际上,无论是用Excel,还是用Power Query或其他任何软件工具,处理问题尤其是与算法逻辑有关的内容,都可以先抛开工具本身,从数学逻辑或方法(日常工作通常都是比较简单的)的角度想明白该怎么处理...数据下载及视频链接:https://t.zsxq.com/05UrZzjm2 是大海,欢迎加入知识星球【Excel到PowerBI】,更多系列视频,更多实战练习,问答更详尽,学习更高效。...回顾整个过程,其实每一步都很简单,关键的是,有没有一步步地去尝试——很多问题都是尝试边思考的过程中发现规律和方法,从而循序渐进、各个击破、迎刃而解的!...这也是为什么对于很多人来说,精通一样技能——尤其是类似软件工具或编程的技能,再去学其他的都很容易上手的原因:无论用什么工具,解决问题的方法和思路其实都是大同小异的。

1.2K20

Power Query技巧:更强大的拆分

标签:Power Query Excel,拆分是一项常见的任务,而Excel的“分列”功能只能将单列文本拆分成多列。...如果想拆分并提取文本的数字,或者将文本拆分成多行,那么使用Power Query是一个好的选择。 示例工作表如下图1所示。 图1 我们想要获取列B的数字,有几种方法。...图3 虽然列B的数字改变时列C的数字同步变化,但公式复杂。 下面使用Power Query来解决。 1.单击功能区“数据”选项卡“获取和转换数据”组的“获取数据——来自文件——从工作簿”。...图7 下面,再尝试使用Power Query将文本拆分成多行,如上图1的示例工作表,列A单元格A1的数据为Excel和Power BI,想将其拆分成两行。...Power Query编辑器,选择要拆分的列。然后,单击“拆分列——按分隔符”。“按分隔符拆分列”,进行如下图8所示的设置 图8 结果如下图9所示。 图9

1.8K50

Power Query 系列 (01) - Power Query 介绍

Power Query 的功能在 Excel 和 Power BI Desktop 可用。...Power Query 实现工作表汇总 给出一个 Excel 处理有点难度的东西:工作表数据合并,如下图所示: [watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_...比如当我们点击第一步:源,显示区的显示如下: [20190826165448260.png] 我们看到,这一步骤Power Query 读取 sales.xlsx 文件,识别出工作部有三个工作表。...第三个步骤,Power Query 将第一行作为列名,第四个步骤,Power Query 尝试帮我们确定每一列的数据类型。...从这里可以看出,Power Query 将我们数据处理过程的步骤都记录下来了,并且每一步,都能够可视化查看数据的变化,而这一切都是基于 M 语言的。

5.5K60

这个数据模糊匹配,不是Lookup不好用,只是需求太多变了! | PQ函数实战

- 1 - 先说最近遇到一个问题:如何在power query,实现lookup,查找另外一个表,"匹配位数"最多的。...- 2 - Power Query里,这个问题解决起来其实是比较简单的,主要是理清思路后,使用一些基础函数的常规用法。...这样,自然就保留了两边都同时存在的数据: 3、 取交集的最后一项就是我们想要的结果 如果需要合并在一起一步解决,也可以将上面的几个步骤内容进行组合即可: - 3 - 日常工作...Excel的这些匹配查找公式,涉及的中间处理过程比较难进行拆分,所以很难采用先分后合的方式,由简单到综合进行一步步尝试,这也进一步提高了写综合公式的难度。...Power Query里,则可将很多复杂的问题,按需要拆分成多个简单的常规处理过程,从而使大问题变成小问题,复杂问题变成简单问题,并且每一个简单问题(中间过程)都可以先独立去尝试,而不需要太多灵活多变的技巧

1.5K10
领券