前段时间,我写了文章《开始用Power BI?别急!这几个选项配置值得注意!| PBI实战》,其中,提到了关于缓存、自动检测数据类型、自动关系、自动日期等设置的调整。
数据专业人员经常做的工作之一是将多个数据集追加到一起。无论这些数据集是包含在一个 Excel 工作簿中,还是分布在多个文件中,问题是它们需要被纵向【追加】到一个表中。
分析师面临的普遍问题是,无论从哪里获得数据,大部分情况都是一种不能立即使用的状态。因此,不仅需要时间把数据加载到文件中,还得花更多的时间来清洗它,改变它的结构,以便后续做分析的时候能更好的使用这个数据。
在深入到 Power Query 数据转换的广阔世界之前,最好先确保为将来的成功做好准备。从实际来说,往往一开始的项目或案例都很小,但随着时间的推移,最终会变得越来越复杂。本章描述的方法将有助于确保随着问题的规模变大和复杂性增加,也可以应对。
在用Power Query处理数据表的过程中,经常碰到一个问题——标题行是变化的,比如下面这个例子,日期随着数据的变化而更新:
把源数据汇总后,为了满足质量要求的数据,需要做数据清洗。PQ就好像变形金刚(英文版PowerBI的转换选项卡恰好也叫“Transform”),在转换选项卡中,集成了各类变形功能。使用频率最高的一般有12个小招: 首行作标题、修改数据类型、删除(重复、错误、空项目)、拆分、提取、合并、替换、填充、移动、排序、格式、逆透视。
最近看到群友们在讨论一个宽表变长表的问题,其实这类需求也很常见于我们日常的数据处理中。综合群友们的智慧,今天我们就来看看excel与python如何实现这个需求吧!
导语:数据分组汇总比较在日常数据快速分析过程中非常有用,在Excel里可以直接在透视表上进行操作,但Power BI里的操作有一点点儿不同。
👆点击“博文视点Broadview”,获取更多书讯 传统的Excel单表虽然可以有100万行数据的承载量,但是在实际分析时,20万行的数据就已经让传统的Excel非常吃力了。 但是,如果使用Excel中的Power Query和Power Pivot商务智能组件,即使是上百万行数据,也可以在短时间内快速完成处理和分析。 Power Query在Excel和Power BI Desktop中都是内置组件,并且管理界面和知识体系保持了高度一致。 其实,Power BI中的Power Query和Power P
忽略指定过滤器后进行计算。 之前这个使用All函数生成忽略学科教师平均分的度量值,如果用AllExpect函数则可以写成
话说,数据透视表是Excel里超级好用的数据分析功能!君不见,前天我发文章《别傻了!PQ都没学会,VBA都学不来,你能学好Python处理Excel?》后,有朋友留言,千回百转,回到透视表……
所有要进行操作的文件下载链接: https://pan.baidu.com/s/10VtUZw8G-Ly-r4VypntjiA 密码: y5qu 下载成功后,整个文件夹如下图所示。
Excel中两列数据的差异对比,方法非常多,比如简单的直接用等式处理,到使用Excel2016的新功能Power Query(Excel2010或Excel2013可到微软官方下载相应的插件)实现各种复杂的数据整理后再进行对比,可以根据实际需要选择使用。
PowerQuery是一个微软创建的基于Excel的免费插件,可以在Excel2010(及更高版本)使用。在Excel 2016及PowerBIDestop中已经内置。
摘要 三维地图、预测工作表、引用外部数据查询、数据透视表更强大的功能改进、将Excel 表格发布到Office 365 Power BI实现数据的商业智能分析……Excel 2016在数据智能分析与展
合并来自多个文件数据的传统方法是极其繁琐和容易出错的。每个文件都需要经历导入、转换、复制和粘贴的过程。根据转换数据量的大小和复杂程度、文件的数量以及解决方案运行的时长,这些问题可能形成可怕的积累效应。
这是一个很常见的问题:要读取的数据需要通过多次vlookup取得,比如下面简化的滚动效益测算问题,先按合同号匹配,如果匹配不到,再按计划号匹配,在Excel里使用2次vlookup函数实现,如下图所示:
作为一名数据专家,日常工作很可能都是在使用数据之前对其进行导入、操作和转换。可悲的是,许多人都没有机会接触到拥有精心策划过的数据的大数据库。相反,被不断地喂食 “TXT” 或 “CSV” 文件,并且在开始分析之前,必须经历将它们导入到 Excel 或 Power BI 解决方案的过程。对用户来说,重要的商业信息往往是以以下格式存储或发送给用户的。
在Excel里,表间数据对比的解法其实有很多,在Power Query里也是一样,在前面的文章《Excel频繁重复的表间数据对比,用Power Query一键刷新》给出了完全外部合并加公式的方法后,就有朋友给出了多个解法或思路:
摘要:三维地图、预测工作表、引用外部数据查询、数据透视表更强大的功能改进、将Excel 表格发布到Office 365 Power BI实现数据的商业智能分析……Excel 2016在数据智能分析与展
PowerBI中的权限控制是分层次的,具体请以官方文档为准。但为了便于快速理解,这里特此编制了一个权限结构图:
本节内容使用Excel的Power Query和Power Pivot组件,抓取多个网页数据,进行清洗、建模和分析。 第一部分:从网页动态抓取数据 使用Power Query不仅可以获取本地的Excel文件数据,还可以获取网页数据。 本节介绍如何使用Power Query获取新浪网新浪体育频道的新浪直播室网页中的足球排行榜数据,主要获取列表中的全部赛季的球队数据,赛事主要获取前5项数据(前5项赛事的数据结构是相同的),如图所示。 网址: http://match.sports.sina.com.cn/fo
最近遇到一位朋友提问:怎么将多个文本文件(据说100多份)按列(横向)汇总?经过详细了解,需求如下图所示:
小勤:大海,怎么把这个付款详情的数据给分离出来啊?我在网上搜了个神长公式,但看不懂啊!
小勤:我知道了,其实跟传统数据透视表的布局设置都是一样的了,就是取消分类汇总、取消行列总计、设置表格形式、合并居中……你关于数据透视布局的文章《随心所欲的分类汇总》和《行列表头,想合就合,想套就套》里说得很清楚了哦。
Power Query 可以在 Power BI 或 Excel 中使用,很多人一开始就在想到底用哪个平台来使用 Power Query,其实不必为此纠结,总有一天会意识到需要把查询复制到一个另一个中的。这有可能是将查询从一个 Excel 工作簿中复制到另一个 Excel 工作簿中,从 Excel 复制到 Power BI,或者从 Power BI 复制到 Excel。在本章中,将探讨将查询从一个工具快速移植到另一个工具的方法。请记住,虽然本书的重点是 Excel 和 Power BI,但这些步骤对于任何承载 Power Query 的工具来说几乎是相同的,即使它包含在其他微软产品或服务中。
1. 撤销动作的不同 Power Pivot在公式生成后就无法进行撤销,只能删除重写。 而在Excel中撤销是很容易实现的。 2. 快速计算公式的不同 Power Pivot只能通过一个一个度量书写。
在Excel的数据透视表里,我们如果要对某一列的内容进行次数统计和对比,可以同时将该列添加到透视表的“列”和“值”里,如下图所示对金额类别列进行统计对比:
大海:这个很简单啊。合并查询一下不就行了吗?这个以前视频《表间数据对比的两种方法》也有讲:
今天我们来学习一个简单的功能,就是一行转多行,本文将介绍如何通过Excel实现,下一篇将介绍Hive中的实现方法。
微软用几年的弯路摸索出自助商务智能的最终产品路线,PowerBI 自然而然地来了。另外,如果您正从零(或者具备一定Excel基础)开始希望学习自助BI,也可以对照看目前所处的位置以更清晰学习上升的路线。
在Excel中,我们可以使用Power Pivot和数据透视表相结合的方法来动态计算近N天的数据变化的情况。比如,我们按选择一个日期,计算当前日期的前7天、前15天,前30天等近期的数据变化情况。如图所示: 这种方法不仅可以提高数据透视表的效率,还可以打造更多的分析的维度。 初始的数据源和数据模型如下图所示: 在这个模型中,我们新建一个日期表,用来筛选订单表中的下单日期。这个例子是简化过来的。 为了当我们选择一个日期的时候,在我们透视表中和数据透视图中能显示选择的近N天的数据,我们还需要做两件事: (1
在我的文章、书或视频中,均介绍过Excel Power Pivot中的按列排序问题,通过按列排序,可以实现一列数据参照另一列的顺序进行排序,具体可以参考文章《PP-入门前奏:传统透视表无法完成的简单的排序问题》。
PP中,基于函数来完成,其使用的是DAX语言。大部分的操作都是在关联筛选后作出的计算和分析。
关于excel里将一张工作表拆分成多个工作表的方法有很多,如果是偶然一次性的,而且需要拆分的表格也不多,那么手工筛选复制一下也不复杂。
Power BI虽然源于Excel,但毕竟是不同的产品。我们要试图抛弃Excel中单元格思维的方式,在BI中的表是以列式存储,没有Excel中以A1单元格定位的形式,对于习惯于Excel的你可能要适应一段时间,不过这是件好事情,因为这样的方式使公式易于阅读理解。
前些天,大神高飞对本人小黄书做了一次送书活动,得到大家的热烈支持,小黄书自上市以来,保持Excel Power系列新书榜第1,非常感谢大家的认可:
Power Query 是微软提供的工具,Excel 2013 版作为插件加载使用,从 Office 2016 版开始,Power Query 的功能集成到 Excel 中,可以直接使用。微软推出 Power BI Desktop 后,一系列的工具,比如 Power Query, Power Pivot, Power View 等,都集成在其中。Power Query 定位查询,中文一般翻译为超级查询,主要作用是连接不同种类的数据源,进行数据的转换。下图来自微软官方对 Power Query 的介绍,可以帮助理解。Power Query 主要实现连接和转换功能。
不过,也有人批评说数组公式对于大多数人来说都不懂,所以这不是最佳解决方案,于是给出了另一个解决方案,即先对原始数据排序,然后直接用vlookup读取——需要取最大值时从大到小排,需要取最小值时从小到大排。
那9个字,犹如一声惊雷,在这个热情的群里炸开了锅...
前几天,我发了文章《PowerBI数据模型优化,从导入数据开始》,没想到引起不少朋友的兴趣和认可。
Excel Power Pivot俗称超级透视表,具有强大的建模能力。一般情况下,Power Pivot的模型在Excel界面以数据透视表或数据透视图展现。但是,这种展现方式比较单一,无法实现复杂结构报表提取模型数据的需求。
我们知道,如果我们直接导入的话会破坏原来的格式,因为在导入时会自动把原来的数据转换成超级表,就会产生这种结果,这样就破坏了我们原来的数据样式了。
上篇推文《从【中国式复杂报表】谈设计逻辑》中我们提到,中国式复杂报表作为高度复杂化的产物,不适合进一步用作数据源。但实际工作中,难免遇到以类似复杂表格作为数据源的情况。比如从国家统计局下载数据的表单,就是一个初级版的复杂报表。我们可以看到,表头分了两个层级,且子层级含有合计数。列方向上也有合计(全国)。本文将来一步一步介绍,如何清洗复杂报表数据源。
大海:既然这样的话,那用Power Pivot吧。直接在Power Pivot里实现这种特殊的计算。
导语:Power Query 是可证明的,在这个星球上性价比最高的数据处理工具,如果你的工作中需要处理数据,注意,是处理,不是分析,那么此工具必须掌握。对此,90%的鼠标点击,5%的猜测以及5%的公式能力足以。本文来自《Master Your Data》的第十章,非常重要,必须掌握。
2020年9月,Power BI Desktop 随着微软 Ignite 大会而发布更新。
零售店铺的商品分拣是指物流中心按照指定款式、指定尺码和指定数量将货品分配给指定店铺的过程。
文章背景: 透视列(Pivot)和逆透视列(Unpivot)是在Excel当中经常使用的一对数据聚合和拆分方法,在Power BI中也提供了同样的功能。
最近,又有朋友提了各需求,将下面的数据,按存货编号分组,对后面的数据横着放:
领取专属 10元无门槛券
手把手带您无忧上云