前段时间,我写了文章《开始用Power BI?别急!这几个选项配置值得注意!| PBI实战》,其中,提到了关于缓存、自动检测数据类型、自动关系、自动日期等设置的调整。
把源数据汇总后,为了满足质量要求的数据,需要做数据清洗。PQ就好像变形金刚(英文版PowerBI的转换选项卡恰好也叫“Transform”),在转换选项卡中,集成了各类变形功能。使用频率最高的一般有12个小招: 首行作标题、修改数据类型、删除(重复、错误、空项目)、拆分、提取、合并、替换、填充、移动、排序、格式、逆透视。
本章专门讨论 Power Query 新手会面临的两个常见问题:理解 Power Query 是基于数据类型(而不是数据格式)的工具,以及如何理解和处理 Power Query 查询中的错误。
Power Query 的设计目的就是在业务分析师使用数据之前将数据加载到目标区域的表中。收集数据并将其重塑为所需的格式,Power Query 处理数据的基本流程,如图 1-1 所示。
作为 2018年 的终结篇并同时开启 2019,Excel120 将以此篇揭示 PowerBI 可以做出的最强大图表以及固定套路。
Power BI 模型的真正强大之处在于通过使用 DAX 语言进行计算。虽然许多 Power BI 用户专注于模型并试着完全避开使用 DAX,但是除了最简单的基础聚合运算以外,其他所有的计算都需要通过 DAX 来实现。而且,你迟早会在 Power BI 中遇到更复杂的计算需求。根据我们的经验,典型的情况会是:你精心制作的一个 Power BI 报告初稿,会引出有关这些数据的越来越多、越来越复杂的问题。
Power Query 是微软提供的工具,Excel 2013 版作为插件加载使用,从 Office 2016 版开始,Power Query 的功能集成到 Excel 中,可以直接使用。微软推出 Power BI Desktop 后,一系列的工具,比如 Power Query, Power Pivot, Power View 等,都集成在其中。Power Query 定位查询,中文一般翻译为超级查询,主要作用是连接不同种类的数据源,进行数据的转换。下图来自微软官方对 Power Query 的介绍,可以帮助理解。Power Query 主要实现连接和转换功能。
数据专业人员经常做的工作之一是将多个数据集追加到一起。无论这些数据集是包含在一个 Excel 工作簿中,还是分布在多个文件中,问题是它们需要被纵向【追加】到一个表中。
小勤:我们每天都能收到供应商推送的pdf格式的燃油价格文件,怎么能方便地整合到一起做数据分析啊?
设计优良的分析模型是 DAX 高效运行的前提。在本章中,我们将讨论许多与建模有关的主题,这些主题对于理解性能强劲的模型设计非常重要。
分析师面临的普遍问题是,无论从哪里获得数据,大部分情况都是一种不能立即使用的状态。因此,不仅需要时间把数据加载到文件中,还得花更多的时间来清洗它,改变它的结构,以便后续做分析的时候能更好的使用这个数据。
Power Query 可以在 Power BI 或 Excel 中使用,很多人一开始就在想到底用哪个平台来使用 Power Query,其实不必为此纠结,总有一天会意识到需要把查询复制到一个另一个中的。这有可能是将查询从一个 Excel 工作簿中复制到另一个 Excel 工作簿中,从 Excel 复制到 Power BI,或者从 Power BI 复制到 Excel。在本章中,将探讨将查询从一个工具快速移植到另一个工具的方法。请记住,虽然本书的重点是 Excel 和 Power BI,但这些步骤对于任何承载 Power Query 的工具来说几乎是相同的,即使它包含在其他微软产品或服务中。
👆点击“博文视点Broadview”,获取更多书讯 传统的Excel单表虽然可以有100万行数据的承载量,但是在实际分析时,20万行的数据就已经让传统的Excel非常吃力了。 但是,如果使用Excel中的Power Query和Power Pivot商务智能组件,即使是上百万行数据,也可以在短时间内快速完成处理和分析。 Power Query在Excel和Power BI Desktop中都是内置组件,并且管理界面和知识体系保持了高度一致。 其实,Power BI中的Power Query和Power P
—— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —— —
2020年9月,Power BI Desktop 随着微软 Ignite 大会而发布更新。
一直以来咱们都是拿Power BI说事,但大部分内容都是DAX基础,可视化元素应用,分析模型等为主。对新手来说,这些还存在一定门槛。
我们工作中可能会遇到类似这样的电子表格:最前面几行表明该表的关键信息,例如这份虚拟的电子装箱单有收货方、地址、预计到货日期等等;表头下方是明细内容,本次发货有几箱,每箱装了什么产品,产品数量多少(每箱重量信息也应该包含,此处省略)。
Power Query提供了大量数据连接器。 这些连接器从 TXT、CSV 和Excel文件等数据源到Microsoft SQL Server等数据库,以及 Microsoft Dynamics 365 和 Salesforce 等常用 SaaS 服务。 如果未在 “获取数据 ”窗口中看到数据源,则始终可以使用 ODBC 或 OLEDB 连接器连接到数据源。
忽略指定过滤器后进行计算。 之前这个使用All函数生成忽略学科教师平均分的度量值,如果用AllExpect函数则可以写成
自从 2022 年的 10 月版本更新以后,PowerBI 提供了在模型视图开放公式编辑区的能力,这样终于实现了一个本来就应该实现的功能:在模型视图统一编辑管理所有内容。
毫无疑问,对于开始就以表格形式处理数据的人来说,最简单的方法之一是打开 Excel 并开始在工作表中记录数据。虽然 Excel 并不是真正打算充当数据库的角色,但这正是实际发生的事情,因此 Power Query 将 Excel 文件和数据视为有效数据源。
我们知道,如果我们直接导入的话会破坏原来的格式,因为在导入时会自动把原来的数据转换成超级表,就会产生这种结果,这样就破坏了我们原来的数据样式了。
在用Power Query处理数据表的过程中,经常碰到一个问题——标题行是变化的,比如下面这个例子,日期随着数据的变化而更新:
在前面的文章《快速切换分析度量原来这么简单!| PBI实战》中,我们介绍了使用字段参数直接创建默认筛选器的用法。但是,默认的筛选器在格式设置上,其实是有一些限制的,文章里也留了个小尾巴——为啥冠军作品的筛选按钮有点儿不一样?
之前Power Pivot里提到的构造表,听畅心提到,实际上在Power Pivot有一个针对性的函数DataTable,更能直观的表达表的构建。
Power BI集成了很多实用功能,有些功能甚至不止一个入口。 微软的终极目标是让我们将重心放在数据处理和分析的思路上,而不是寻找功能菜单这种附加值低的事情上。 工欲善其事,必先利其器。Power BI功能众多,需要我们不断地实践、摸索才能熟练掌握。 本文就从Power BI运行效率的提升及模型的规范易用出发,分享五个实用小技巧。 Power BI中有诸多的默认功能设置,如数据类型检测、关系检测及自动日期/时间等。这些功能确实给我们带来了很大的便利,但当模型变得复杂、数据量也变多以后,模型运行效率就会变慢。
在Excel中,我们可以通过先在单元格中编写公式,然后向下拖动列来创建计算列。在PowerQuery中,还可以添加“自定义列”并输入公式。在Python中,我们创建计算列的方式与PQ中非常相似,创建一列,计算将应用于这整个列,而不是像Excel中的“下拉”方法那样逐行进行。要创建计算列,步骤一般是:先创建列,然后为其指定计算。
很多朋友安装好Power BI Desktop后,就马上开始导入数据、清洗、建模、写公式、出图表……很爽,对不对?
文章背景: 透视列(Pivot)和逆透视列(Unpivot)是在Excel当中经常使用的一对数据聚合和拆分方法,在Power BI中也提供了同样的功能。
随着Power BI模型的复杂,制作图表的增加,尤其是想要对某个度量进行调整的时候,很多朋友都经常会碰到一个问题:我表里的这些列,我写的这些度量都在哪些图表里使用了?
SUM返回与expression相同的数据类型,但有如下异常:TINYINT、SMALLINT和INTEGER返回的数据类型都是INTEGER。
小勤:大海,能在Power Pivot或Power BI将一个表里的数据匹配到另一个表里吗?
最近遇到一位朋友提问:怎么将多个文本文件(据说100多份)按列(横向)汇总?经过详细了解,需求如下图所示:
作为一名数据专家,日常工作很可能都是在使用数据之前对其进行导入、操作和转换。可悲的是,许多人都没有机会接触到拥有精心策划过的数据的大数据库。相反,被不断地喂食 “TXT” 或 “CSV” 文件,并且在开始分析之前,必须经历将它们导入到 Excel 或 Power BI 解决方案的过程。对用户来说,重要的商业信息往往是以以下格式存储或发送给用户的。
导语:Power Query 是可证明的,在这个星球上性价比最高的数据处理工具,如果你的工作中需要处理数据,注意,是处理,不是分析,那么此工具必须掌握。对此,90%的鼠标点击,5%的猜测以及5%的公式能力足以。本文来自《Master Your Data》的第十章,非常重要,必须掌握。
销售数据表记录了咖啡订单,包括字段:订单编号、订日期、门店、产品ID、顾客、数量。
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/79071818
合并来自多个文件数据的传统方法是极其繁琐和容易出错的。每个文件都需要经历导入、转换、复制和粘贴的过程。根据转换数据量的大小和复杂程度、文件的数量以及解决方案运行的时长,这些问题可能形成可怕的积累效应。
本文来自社区伙伴对《DAX 权威指南(第二版)》的学习笔记,有问题可以留言或联系BI佐罗修改,感谢你的支持。
不同的公式可以达到同样的效果,所以观察产生结果的公式就很重要,别把公式栏给隐藏了,需要打开它,如图1所示。例如:删除列和删除其他列可能得到的效果是一样的,但是如果数据有变动刷新后得到的结果却有可能不同。
【每周一本书】之《Microsoft Power BI 数据可视化与数据分析》
在SQL Server中提供了许多内置函数,按函数种类可以分为聚合函数、数学函数、字符串函数、日期时间函数、转换函数和元数据函数等6种。在进行查询操作时,经常能够用到SQL函数,使用SQL函数会给查询带来很多的方便.
今天是中秋国庆长假前的最后一个工作日,首先预祝各位读者双节快乐!零售业的同仁接下来免不了忙碌,节后也免不了复盘总结、销售分析。
> 经常听别人说 Python 在数据领域有多厉害,结果学了很长时间,连数据处理都麻烦得要死。后来才发现,原来不是 Python 数据处理厉害,而是他有数据分析神器—— pandas
插入 insert [into] 表名 [(列名列表)] values (值列表)
大海:这是因为你订单ID这一列里不全是数字。所以只能用文本类型类表示。而且错误信息里提示也很明确,既提示了错误类型,也显示了第一个出错的值是什么。
数据分组就是根据一个或多个键(可以是函数、数组或df列名)将数据分成若干组,然后对分组后的数据分别进行汇总计算,并将汇总计算后的结果合并,被用作汇总计算的函数称为就聚合函数。 Python中对数据分组利用的是 groupby() 方法,类似于sql中的 groupby。 1.分组键是列名 分组键是列名时直接将某一列或多列的列名传给 groupby() 方法,groupby() 方法就会按照这一列或多列进行分组。 groupby(): """ 功能: 根据分组键将数据分成
不问花开几许,只愿浅笑安然 除了求和,另一个日常工作中最常用到的聚合方式应该是计数了。DAX提供了一系列关于计数的函数。他们可以帮助我们计算表中有多少行或者某个值出现了多少次。 DAX中包含的计数函数有: COUNT()函数,对列中值的数量进行计数,除了布尔型; COUNTA函数,对列中值的数量进行计数,包含布尔型; COUNTBLANK()函数,返回列中空单元格的计数; COUNTROWS()函数,返回表中行的计数; DISTINCTCOUNT()函数,返回列中值的不重复计数,包含空单元格。 DISTI
Excel中两列数据的差异对比,方法非常多,比如简单的直接用等式处理,到使用Excel2016的新功能Power Query(Excel2010或Excel2013可到微软官方下载相应的插件)实现各种复杂的数据整理后再进行对比,可以根据实际需要选择使用。
领取专属 10元无门槛券
手把手带您无忧上云