Power Query 的设计目的就是在业务分析师使用数据之前将数据加载到目标区域的表中。收集数据并将其重塑为所需的格式,Power Query 处理数据的基本流程,如图 1-1 所示。
毫无疑问,对于开始就以表格形式处理数据的人来说,最简单的方法之一是打开 Excel 并开始在工作表中记录数据。虽然 Excel 并不是真正打算充当数据库的角色,但这正是实际发生的事情,因此 Power Query 将 Excel 文件和数据视为有效数据源。
作为一名数据专家,日常工作很可能都是在使用数据之前对其进行导入、操作和转换。可悲的是,许多人都没有机会接触到拥有精心策划过的数据的大数据库。相反,被不断地喂食 “TXT” 或 “CSV” 文件,并且在开始分析之前,必须经历将它们导入到 Excel 或 Power BI 解决方案的过程。对用户来说,重要的商业信息往往是以以下格式存储或发送给用户的。
本章专门讨论 Power Query 新手会面临的两个常见问题:理解 Power Query 是基于数据类型(而不是数据格式)的工具,以及如何理解和处理 Power Query 查询中的错误。
👆点击“博文视点Broadview”,获取更多书讯 传统的Excel单表虽然可以有100万行数据的承载量,但是在实际分析时,20万行的数据就已经让传统的Excel非常吃力了。 但是,如果使用Excel中的Power Query和Power Pivot商务智能组件,即使是上百万行数据,也可以在短时间内快速完成处理和分析。 Power Query在Excel和Power BI Desktop中都是内置组件,并且管理界面和知识体系保持了高度一致。 其实,Power BI中的Power Query和Power P
这是零售业常遇到的一个需求,销售目标分解到每天,需要看到每天的达成情况,又需要看到月度汇总的达成情况。Power BI实现效果如下图:
数据专业人员经常做的工作之一是将多个数据集追加到一起。无论这些数据集是包含在一个 Excel 工作簿中,还是分布在多个文件中,问题是它们需要被纵向【追加】到一个表中。
使用 Power Query 的一个非常有趣的场景是,可以利用它从 Web 上抓取与业务相关的数据,并用它来丰富自己的公司数据。数据通常以两种不同的方式之一存储在 Web 上。
👆点击“博文视点Broadview”,获取更多书讯 在大数据时代,数据的来源具有多样性、复杂性。 针对数量庞大、渠道及格式多样的数据,数据清洗就成为刚需。 在数据分析中,数据清洗实际上是十分繁重且关键的一步。 Power Query作为数据清洗的工具,能将这些多源的数据集中并统一转换成所需要的格式,为数据分析创造前提条件。 此外,Power Query还能使办公自动化更进一步,与常用办公软件Excel无缝衔接,使日常的重复工作实现自动化,得到高效并准确的处理结果,不仅可以为企业节省人力成本,还可以为个
如果让我来讲的话,BI工具都是很简单的,会一个就会很多了。两小时入门power bi已经算是很慢了,其他bi工具,比如fine bi,可能十分钟足矣。
Power Query 可以在 Power BI 或 Excel 中使用,很多人一开始就在想到底用哪个平台来使用 Power Query,其实不必为此纠结,总有一天会意识到需要把查询复制到一个另一个中的。这有可能是将查询从一个 Excel 工作簿中复制到另一个 Excel 工作簿中,从 Excel 复制到 Power BI,或者从 Power BI 复制到 Excel。在本章中,将探讨将查询从一个工具快速移植到另一个工具的方法。请记住,虽然本书的重点是 Excel 和 Power BI,但这些步骤对于任何承载 Power Query 的工具来说几乎是相同的,即使它包含在其他微软产品或服务中。
在深入到 Power Query 数据转换的广阔世界之前,最好先确保为将来的成功做好准备。从实际来说,往往一开始的项目或案例都很小,但随着时间的推移,最终会变得越来越复杂。本章描述的方法将有助于确保随着问题的规模变大和复杂性增加,也可以应对。
进入PowBI,弹出的如下页面也可以直接关闭,在Power BI中想要导入数据需要通过Power Query 编辑器,Power Query 主要用来清洗和整理数据。
什么是动态数组?动态数组可以理解为表函数,即在一个单元格输入函数组合或者单个函数生成动态的表,而不是一个值。举个例子,下图是一个销售明细表,我们想将表中的店铺名称提取出来。
PowerQuery是一个微软创建的基于Excel的免费插件,可以在Excel2010(及更高版本)使用。在Excel 2016及PowerBIDestop中已经内置。
不过,也有人批评说数组公式对于大多数人来说都不懂,所以这不是最佳解决方案,于是给出了另一个解决方案,即先对原始数据排序,然后直接用vlookup读取——需要取最大值时从大到小排,需要取最小值时从小到大排。
既可以从非常广的宽度看到 Power BI 的各个方面,也同时可以看到在国际范围从事与此有关的大咖做到了什么程度。因此,这是客观衡量 Power BI 在全球表现的一场秀。有没有没有微软的官方支持,大会更显得实在,既可以显现 Power BI 的高阶应用状态,也可以看出很多问题,就看大家的水平了。
这是一个很常见的问题:要读取的数据需要通过多次vlookup取得,比如下面简化的滚动效益测算问题,先按合同号匹配,如果匹配不到,再按计划号匹配,在Excel里使用2次vlookup函数实现,如下图所示:
下文为电子表格大会主席李奇在论坛上的分享。 一般我都先讲Power BI,今天被前面老师讲了,我想了半天,该讲什么好呢,最后决定给大家先讲一个我自身的故事,跟大家分享一下我是如何接触到Power BI以及Excel商业智能的吧。 很多人都问我专业不对口能否做数据分析,其实我想跟大家说,我是学考古的,所以大家只要想干一切皆有可能。 2011年以前我都在日本,在日本待了11年,在日本做过程序员,也做过开发工程师,也给日本那边失业的人进行Excel培训。2011年回国之后,我到了IBM,做销售运营管理数据分析。做
Power Query 作为桌面端数据清理和转换的工具,能极大解放生产力,将繁琐的数据处理工作从重复的劳动中解放出来。那么,Power Query 能否对外提供计算服务呢?或者说 Power Query 有没有对外提供的编程接口? 根据我的探索,似乎没有,但在网络上找到下面的两种 walkaround 方式,都比较小众。所以如果真的需要数据处理、数据分析服务的话,不如选择其他的方案,比如 pandas 等等,拥有更大的自由度。
描述性统计常用来揭示数据的基本特征,常见的指标有最大值、最小值、中位值、平均值、标准差等。在Power BI产品线价格带分析:以耐克、阿迪达斯、安踏和李宁为例中,笔者展示了价位带分析的图表制作方式,涉及的分析维度包含了描述性统计指标。
分析师面临的普遍问题是,无论从哪里获得数据,大部分情况都是一种不能立即使用的状态。因此,不仅需要时间把数据加载到文件中,还得花更多的时间来清洗它,改变它的结构,以便后续做分析的时候能更好的使用这个数据。
一套完整的BI报表应该至少具备以下四个条件: 条件一:能够批量处理有一定规模的数据; 条件二:能够保证数据的时效性及准确性; 条件三:能够将实际业务中所涉及的所有相关数据整合到一起,搭建统一的多维数据
与 Excel 和 DAX 语言具有IFERROR函数的方式类似,Power Query具有自己的语法来测试和捕获错误。
导语:一般来说,Excel里能实现的对数据的处理,在Power Query里都可以实现,有的Excel里方便一点儿,有的PQ里更快一些儿,但关键不在于多几个步骤还是少几个步骤,而是你是否需要重复地做。
Excel里部分人工资调整,要引入到原表中,并保持未调整的人员数据和位置不变,这是典型的部分数据替换问题,若要使得到的结果位置完全不变,通过直接的数据复制粘贴是无法完成的,但可以通过公式或者构建排序参考表来完成,下面先以公式法为例进行说明:
日常工作中,很多朋友遇到类似如下的问题——多个要汇总的Excel工作表,列名却存在一些差异,比如有的表里叫“日期”,而另一个表里可能是“采购日期”……
前面我们介绍了Power BI 是什么,今天介绍如何用Power BI 获取数据。
说实话我没相关这个问题。甚至对于超级表这个概念并不是很清晰,唯一的概念是我在短视频上看到过,当时的感觉就是“这不就是Power query中最简单的功能么?这都啥破教程。”
Ø 在Excel2016里已经是一个完全融合在一起的功能,跟数据透视等等功能一样,也没专门叫Power Query,所以导致你可能不知道它的存在而已。
👆点击“博文视点Broadview”,获取更多书讯 数据格式不规范的可能性有多种多样,但高频发生的错误主要有日期格式和数字格式错误,或者是单元格中存在多余空格,导致无法精确统计和计算(见图1)。 图1 不管是财务人员还是领导,看到如图1所示的表格时一定处在崩溃的边缘。想要计算总额,输入函数后一看,怎么数据对不上?想直接定位查看某位员工的详细数据,结果 Excel 提示“查无此人”(见图2)。 图2 领导看了直摇头叹息:好好的一个 Excel 表格,【运算】和【查找】功能统统用不上,那这份表格的意义是什
文章背景:在Excel中,如果想要实现近似匹配,可以使用Vlookup函数。在Power Query中,也可以实现查找并返回等于或介于两个数据点之间的值。
Power Query 是微软提供的工具,Excel 2013 版作为插件加载使用,从 Office 2016 版开始,Power Query 的功能集成到 Excel 中,可以直接使用。微软推出 Power BI Desktop 后,一系列的工具,比如 Power Query, Power Pivot, Power View 等,都集成在其中。Power Query 定位查询,中文一般翻译为超级查询,主要作用是连接不同种类的数据源,进行数据的转换。下图来自微软官方对 Power Query 的介绍,可以帮助理解。Power Query 主要实现连接和转换功能。
合并来自多个文件数据的传统方法是极其繁琐和容易出错的。每个文件都需要经历导入、转换、复制和粘贴的过程。根据转换数据量的大小和复杂程度、文件的数量以及解决方案运行的时长,这些问题可能形成可怕的积累效应。
本节内容使用Excel的Power Query和Power Pivot组件,抓取多个网页数据,进行清洗、建模和分析。 第一部分:从网页动态抓取数据 使用Power Query不仅可以获取本地的Excel文件数据,还可以获取网页数据。 本节介绍如何使用Power Query获取新浪网新浪体育频道的新浪直播室网页中的足球排行榜数据,主要获取列表中的全部赛季的球队数据,赛事主要获取前5项数据(前5项赛事的数据结构是相同的),如图所示。 网址: http://match.sports.sina.com.cn/fo
最近,有朋友在用Power Pivot构建表间关系的时候,出现了一个问题:明明我已经删除了重复项,但构建表间关系的时候,还是说我两个表都有重复的数据!结果表间关系建立不起来!
忽略指定过滤器后进行计算。 之前这个使用All函数生成忽略学科教师平均分的度量值,如果用AllExpect函数则可以写成
正如上周技术小结中说得那样,对这个项目来说,SQL和BI不是必须的。所以今天我们来看看纯Excel的实现方案。
在Power Query及Power Pivot系列课程中,对大家日常学习和使用过程中的较多问题和可能遇到的坑有诸多讲解,比如,PQ系列课一开始就有新手经常遇到问题提示,让大家有一定的印象(也可能很多朋友直接跳过去了):
本文为CDA金牌讲师李奇原创,转载请在本平台申请授权 随着大数据时代的到来,企业管理者对数据价值的重视度越来越高,他们渴望从企业内外部数据中获得更多的信息财富,并以此为依据,帮助自己做出正确的战略决策。在此种大环境下,缺乏洞察力的传统业务报表已经开始无法满足复杂市场环境中的企业决策需求,在很多企业中,“能否基于业务分析提供更具商业洞察力的数据信息”正在逐步取代“能否准确、及时地提供业务报表”成为考核业务人员能力的重要参考指标。为了能够提供更具洞察力的信息,需要业务人员强化以下两类能力: 强化所从事业务工作中
随着关注Power Query的人越来越多,很多人发现用Power Query处理一些比较复杂的问题的时候,步骤比较多,但胜在分成多个步骤之后,操作起来就比较简单了——这也是我大力推荐普通用户去使用Power Query的原因。
Excel2013下载网盘链接: https://pan.baidu.com/s/1MdF2pTxlJqZMqILcW2PeBA 密码: rxuv 这个安装包中有破解软件KMSpico,当中有使用说明..txt,请阅读后安装软件,关键点是要用管理员权限操作。 破解的时候要关闭360等杀毒软件。
导语:Power Query 是可证明的,在这个星球上性价比最高的数据处理工具,如果你的工作中需要处理数据,注意,是处理,不是分析,那么此工具必须掌握。对此,90%的鼠标点击,5%的猜测以及5%的公式能力足以。本文来自《Master Your Data》的第十章,非常重要,必须掌握。
用Excel函数求最后(右侧)一个字符所处的位置,如果是Excel原来的函数,需要比较繁琐或难以理解的套路。
https://powerbi.microsoft.com/zh-cn/desktop
在Excel的数据透视表里,我们如果要对某一列的内容进行次数统计和对比,可以同时将该列添加到透视表的“列”和“值”里,如下图所示对金额类别列进行统计对比:
先说最近遇到一个问题:如何在power query中,实现lookup,查找另外一个表中,"匹配位数"最多的。
一般对于问这个问题的人,我的建议是:慎重考虑是否真有必要学VBA——除非您还是一个年轻且有大量精力和时间的在校学生。
Power Query堪称神器,以极低的学习成本帮我们在Excel和Power BI中自动化很多数据处理工作。但是,稍微不注意,你制作的自动化工具可能就会埋下地雷,在下次刷新数据时爆炸。这个地雷是什么?如何排除?
领取专属 10元无门槛券
手把手带您无忧上云