首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

1.8 PowerBI数据准备-删除其他列

加入 PowerBI自己学 知识星球 可以:下载源文件,边学边练;遇到问题,提问交流,有问必答。删除不需要的列,提升后面处理的效率,是数据清洗的好习惯。...在PowerQuery中删掉不需要的列,尤其是事实表,随着时间的推移,行数会越来越多,每多一列都可能让文件增大几十M。操作上可以使用删除列,也可以使用删除其他列。...通常来讲,用删除其他列目的性更明确,且无副作用。举例一个600多M的模型,在一次刷新数据后,突然暴涨到900多M。先检查了每个表的个数和行数,没有异常。...PowerQuery获取这个表的时候,使用的是删除列功能,模型刷新的时候自动地跟着增加了上游数据源增加的这些列,由于订单表有1000多万行,多这几列竟让文件暴涨300M,模型大小逼近1G,几近崩盘。...总起来讲,获取数据时对冗余列进行删除,建议优先使用“删除其他列”,这样可以让模型数据刷新更平稳地运行。

5800

PowerBI DAX 如何使用变量表里的列

很多时候,我们可能需要使用变量表中的列,例如: VAR vTable = FILTER( 'Order' , [Discount] 0 ) 这里定义了一个 vTable 表示订单中没有折扣的那些订单...直接加载到 DAX 数据模型的就是模型表,又称为:基表(base table)。 用 VAR 定义的表,的确是一个表,但这个表,并不是数据模型中的表,也就不是基表。...如果希望使用基表中列,可以使用这样的语法: 表[列] 因此, VAR vResult = SUM( 'Order'[LineSellout] ) 是有效的正确语法,而 VAR vResult = SUM...如果希望使用非基表中的列,则不可以直接引用到,要结合具体的场景来选择合适的函数。...取出某列 如果想直接取出某列,也必须注意使用的方式,例如,错误的方式如下: VAR vList = VALUES( vTable[LineSellout] ) 这就是一个错误的语法,因为 vTable[

4.3K10
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    1.13 PowerBI数据准备-添加列,按示例添加列,体验智能快感

    加入 PowerBI自己学 知识星球 可以:下载源文件,边学边练;遇到问题,提问交流,有问必答。...如果对PowerQuery的M语言还不熟悉,添加列的时候可以先尝试按示例添加列;即便已经很熟悉M语言了,也可以偷个懒,用按示例添加列可以省去敲繁琐的代码。...微软硬生生地翻译为“示例中的列”,实际上翻译成“按示例添加列”更恰当。...操作步骤STEP 1 点击菜单栏添加列下的示例中的列,选从所有列或从所选内容,让计算机按照所有列/所选列去理解你的意思,通常选后者,更容易让计算机找到规律。...举例按示例添加列可以实现很多需求,挑选几个举例如下:1 条件判断,按指定条件返回相应的值。

    7300

    Power Automate实现PowerBI数据集刷新结束后通知

    实际的业务场景往往纷繁复杂,比如某个时候你需要将最新的数据呈现给甲方爸爸,在按了一次刷新之后,在漫长的数据集刷新过程中,可能需要一次次点开网页刷新,看看是否已经刷新结束,往往消磨了人们的耐性。...如果能有一个办法在每次刷新结束时自动提醒我就好了! 有人说可以通过数据预警,但是数据预警只能设置每天或者每小时发通知一次,而且设置思路并不是很明确。...,也是有办法的,比如报告上使用一个flow来触发,dataset刷新启动后下一步就是这个操作。...4、实操展示 我分别在17:12,17:28和17:51进行了刷新: 刷新结束时都收到了邮件提醒,3次刷新都成功: 三、总结 本文讲解了使用PowerBI REST API配合PowerAutomate...实现PowerBI报告刷新结束时邮件通知的方法。

    2.1K10

    1.26 PowerBI数据准备-刷新报错的排查与处理

    加入 PowerBI自己学 知识星球 可以:下载源文件,边学边练;遇到问题,提问交流,有问必答。刷新遇到报错,要在PowerQuery中排查。...2 找不到列如果数据源的字段发生了变化,减少了列,但PowerQuery的代码不会随之改变,还会引用字段的名称,会导致刷新时报错,提示找不到列。...图片解决方法如果这个列有用,需要完善数据源;如果这个列是因为没用在数据源删除的,在PowerQuery中刷新预览,找到报错的步骤,将相关的代码清除。本例是对数量列更改了数据类型,删除对应代码即可。...3 数据类型不对因为PowerQuery默认只预览1000行数据,预览过程中不存在问题,但是刷新的时候是全量刷新,所以预览的1000行以外的数据可能不符合处理要求,数据类型不对就会刷新报错,提示包含错误...5 引用查询或步骤错误模型比较大,查询较多且具有依赖关系,虽然不存在问题,但是打开PowerBI文件直接点击刷新按钮会报错,提示引用查询或步骤错误。

    14310

    PowerBI 保持数据刷新后仍显示最后一天

    相对日期 假设今天是2020.06.20,那么,可以使用相对日期筛选器,如下: 该筛选器使用日期表中的日期列作为筛选条件,并设置使用相对日期筛选,如下: 这样就可以确保总是显示相对于今天的上一天。...日期列表筛选器 日期的相对性问题,只是问题之一,另一个问题是,如果使用日期表作为筛选器,如下: 这种效果有时候是用户一定需要的,选择一个具体的日期点,但问题来了两个: 该切片器不会随着数据的更新而自动选择最后更新的日期...该切片器如果使用日期表的日期,会显示没有事实数据的日期 问题的分析 至此,积累了三个问题,如下: 第一条,如何基于某个动态日期点给出筛选,该动态日期点由度量值给出。...通过观察,很快发现 PowerBI 的切片器是不会自动选择某个选项的,至少这绝不会由数据更新而触发,那么,就必须要确保切片器默认选择的选项永远都必须是合理的,例如:假设报告最后刷新日期是 2020.06.27...首先需要一个度量值: Start:Date.LastDate.All = MAXX( ALL( 'Order'[OrderDate] ) , [OrderDate] ) 然后构造一个计算列: 日期视图

    2.7K40

    2.7 PowerBI数据建模-DAX计算列中的几种VLOOKUP

    加入 PowerBI自己学 知识星球 可以:下载源文件,边学边练;遇到问题,提问交流,有问必答。...使用DAX在数据表中新建计算列,经常从另一个表中查找返回符合条件的值,类似于Excel的VLOOKUP,又高于Excel的VLOOKUP。...1 方向是多端查找一端2 支持跨表的关系传递3 性能优于其他方案4 非活动的虚线关系不适用价格表中每个产品只出现一次,每个产品只对应一个价格,存在多对一关系。...1 返回的值必须唯一,否则返回空或者预设结果(公式的最后一个参数)2 支持多条件查找价格表中产品的价格需要靠产品列和年份锁定唯一值。...原因是:在某些情况下(比如数据量大),LOOKUPVALUE会因为CallbackDataID请求存储引擎查询,导致执行慢、低性能、丢数据。此时,请考虑方案3。

    6710

    2.37 PowerBI数据建模-按列排序的副作用,ALL失效了

    加入 PowerBI自己学 知识星球 可以:下载源文件,边学边练;遇到问题,提问交流,有问必答。使用ALL函数来计算占比,明明公式正确,返回的百分比却都是100%,百思不得其解,这是软件的Bug吗?...班级人数'[人数])总人数_Wrong = CALCULATE([人数],ALL('班级人数'[班级]))班级人数占比_Wrong = DIVIDE([人数],[总人数])异常结果如下:解决方案班级这一列使用了按列排序...本例把ALL的参数调整为班级和用于排序的班级排序字段,如下:总人数 = CALCULATE([人数],ALL('班级人数'[班级],'班级人数'[班级排序]))拓展按列排序还会有其他的副作用,比如判断某个被排序的字段是否被筛选

    3500

    1.14 PowerBI数据准备-添加条件列,给维度添加排序列

    解决方案在PowerBI中,可以用一个序号列为要排序的列的每个值标记一个数字序号,然后再让它按照序号列排序。...这样,就可以使用按列排序功能为月份名称或者星期几排序了。区域名称也需要序号列,优先在数据源中自带排序列,如果没有权限修改数据源,或者想自主控制顺序,可以在PowerQuery中添加条件列。...操作步骤STEP 1 点击菜单栏添加列下的条件列,在跳出的对话框中,新列名命名为大区序号,输入各个大区对应的序号。图片STEP 2 将生成的大区序号列数据类型改为整数。...STEP 3 关闭并应用后,在数据窗格中选中大区列,点击菜单栏列工具下的按列排序,选择大区序号。这样,按照大区升序排列的时候,就会按照自定义的排序方式排列了。...拓展有时候维度表是从事实表中提取的,建议这个提取操作在PowerQuery中使用分组依据实现,不建议使用DAX的DISTINCT实现,因为用DAX生成的计算表虽然也能实现新建计算列进行条件赋值,但是点击按列排序的时候会报错

    7900

    2.12 PowerBI数据建模-用Tabular Editor判断依赖,安全删除表、列、度量值

    加入 PowerBI自己学 知识星球 可以:下载源文件,边学边练;遇到问题,提问交流,有问必答。删除模型中的一个表、列或度量值,会跳出一个对话框,仅提示“是否确定要删除XXX?”...解决方案 安装外部工具Tabular Editor(在其官网下载即可,免费版可用),删除表、列或度量值的时候,先使用Tabular Editor做依赖判断。...点击第三个按钮,查看表与其他表的筛选关系,如果存在关系,删除后可能会影响页面上的视觉对象、切片器等,三思而后行。...STEP 3 如果删除的是表或列,经过判断后,需要回到PowerBI桌面版中进行删除操作。如果删除的是度量值,也可以先不查看依赖关系,在Tabular Editor中点击鼠标右键选择删除。...拓展当前方案无法判断报告的画布中是否使用了列或度量值,可以复制一份文件用于手动测试,删除列或度量值后,浏览所有页面,查看异常状况。

    6800

    2.6 PowerBI数据建模-新建列的4种方法及其优先级

    新建列方法新建列的可以在4个环节内完成:数据源、PowerQuery、VAR过程列、DAX计算列。数据源:在上游数据源(数据库或文件)中新建列,然后直接导入PowerBI使用。...PowerQuery:在数据清洗的过程中添加列,处理后加载到模型。VAR过程列:不生成物理列,在计算列的计算过程中,使用VAR现调取现使用,用后抛弃。...特别说明一下,DAX计算列,这种方法使用DAX语言、基于模型关系,相对简单快捷,使用频率很高,但也有一定的劣势,尤其是一个表有上百万行的情况,在PowerBI服务器上会占用计算内存影响报告性能,而且压缩率不佳影响模型的大小...甚至可以在书写度量值的过程中,在VAR表中使用ADDCOLUMNS新建列,然后基于这个VAR表计算度量值。3 如果必须新建物理列(数据表中存在的列),能在数据源中新建列,就优先在数据源中新建列。...注意,在使用增量刷新的表中,该方法不适用,因为它仅更新增量刷新的行,反而是DAX计算列会在增量刷新后更新所有的行。5 以上皆不可,使用DAX新建列。

    4600

    1.20 PowerBI数据准备-日期表增加节假日、工作日分析相关列

    加入 PowerBI自己学 知识星球 可以:下载源文件,边学边练;遇到问题,提问交流,有问必答。...有些场景会针对工作日或者节假日的数据进行汇总分析,或者对每月第几个工作日平移筛选数据,按工作日计算时间进度,又或者按照每月第几个工作日动态切换日期表中当月的标记等。...STEP 1 PowerQuery获取假期表数据后,在日期表中,点击菜单栏主页下的合并查询,用两个表的日期字段做关联,使用左外部连接,然后在生成的新列标题上点击右侧的展开按钮,选择HolidayName...图片STEP 2 点击菜单栏添加列下的条件列,新增一列Is_Holiday,标记是否节假日,将数据类型改为整数。STEP 3点击菜单栏添加列下的自定义列,输入代码,生成每月的累计工作日天数。...点击菜单栏主页下的新建源,选择空查询,输入代码,生成一个随刷新变化的当天日期。然后在日期表中,新建自定义列,输入代码,生成按照每月第6个工作日动态标记当前月的年月列。

    8700

    PowerBI 2018 5月更新 条件格式 钻取筛选 增量刷新 智能网抓

    但我们还是讲解下其实现方式却是很简单: 从Power BI Desktop的报告页选择一个需要增量刷新的表,点击【增量刷新】如下: 这是需要进行参数配置的,如果没有使用参数是无法进行增量刷新的,因此我们在...从样本添加列改进 这个功能让PowerBI实现网络数据抓取更加智能,由于是预览功能,所以需要打开预览。...year=2017,此为年度票房,如下: 可以看到,这里也不是不存在正常的表结构的,而PowerBI本月更新给了我们一种很智能的方式来从网页获得数据,如下: 选择【使用示例提取表】,如下: 只要我们不断输入每一列的值...而且数据也就同时被抓取了,如下: 由于我们使用了年度票房2017,通常我们改变一下URL,就可以迅速得到其他年份的数据,我们将2017改为2018,则得到2018的票房数据,如下: 当然,可以在查询编辑里做原来可以做的所有的变换数据的事情了...关于本月更新的智能网抓,本质是使用了尚未被微软官方文档记载的M函数Web.BrowserContents以及Html.Table完成了所有事情,这其中的奥妙足以单独写一些列文章详细阐述。

    1.7K10

    5.5 PowerBI技巧-定时刷新与增量刷新

    加入 PowerBI自己学 知识星球 可以:下载源文件,边学边练;遇到问题,提问交流,有问必答。给发布后的报告设置定时刷新,是PowerBI报告自动化的最后一步,这样整个报告发布过程就是全自动了。...增量刷新是当PowerBI模型已经大几百M,刷新需要数小时,在PowerBI线上版中,为了提高刷新效率,保证报告刷新及时,同时也是节省资源,开始使用增量刷新。...前提:1 用户是PowerBI付费License;2 最好是结构化、关系型数据源,比如SQL 数据库,且增量刷新的表中有日期/时间或整数数据类型的日期列。...STEP 2 继续在PowerQuery中,对需要设置增量刷新的表,在日期时间列(此列类型需设置为日期/时间)上点击筛选,选择自定义筛选,取RangeStart和RangeEnd之间的数据,开始和结束仅一边有等号...设置增量刷新后,第一次发布后随带的自动刷新需要较长的时间,之后的刷新就比较快了。拓展使用增量刷新的模型,在PowerBI线上版将不支持下载,因此需要保存好本地文件。

    13210

    1.19 PowerBI数据准备-使用参数,生成输入数据源路径的PBIT模板

    PowerBI模板(.pbit文件)实质上是把数据源和数据处理分开,只保存数据源以外的部分,包括:报表页、视觉对象和其他视觉对象元素;数据模型,包括架构、关系、度量值和其他模型定义项;查询计划,例如查询...,模板就会自动连接到数据源并按照当初保存好的设计刷新报告。...\POWERBI\POWERQUERY\使用参数,生成输入数据源路径的PBIT模板\2,打开模板文件输入地址点击加载,完成刷新后就能看到报告了。...旧路径下的报告:新路径下的报告:拓展1 使用PowerQuery参数生成测试环境数据源和生产环境数据源路径,用到每个数据源的路径中,能够实现快速切换数据源,方便报告开发者调试数据。...2 PowerQuery参数也可用于数据的筛选,比如增量刷新就需要设置日期筛选参数。3 PowerQuery参数也可以用于公式调用,比如添加条件列的时候可以调用参数。

    9410

    2.4 PowerBI数据建模-度量值不能与列同名,放在专门的表内就可以

    加入 PowerBI自己学 知识星球 可以:下载源文件,边学边练;遇到问题,提问交流,有问必答。刚开始使用PowerBI的时候,总会遇到这样一个问题。...PowerBI是这样管理字段的:列是分表存放,每个列的全名是表名+列名,即姓表名列,所以列的命名规则是:同一表内,列名不重复。...基于这一规则,即便原始数据源表有同名的列,导入的时候PowerQuery也会自动处理掉,比如自动命名为[列2];不同表内,列可以重名。...所以度量值的命名规则是:不管在不在同一表内,所有的度量值都不能重名;同一表内,度量值也不能与列重名;不同表内,度量值可以与其他表的列同名。综上,最好的解决方案就是用专门的表存放度量值。...这个时候新建的度量值就会存放在Measure表内,命名的时候与其他表的列同名也是可以的了。STEP 3 将其它度量值转移到Measure表。

    8510

    从本地网关数据源切换到OneDrive数据源指导手册

    几乎所有的教程都会告诉你,使用 Power BI 获取数据最简单的方式是从本地excel表中获取,紧接着教你如何从本地文件夹中获取多个文件。...因为不需要太久之后,你就要面临数据刷新、定时刷新、网关配置的问题,此时,如果你看到下面的每一个都需要进行一次凭据的选择: 请问,你作何感想?...尤其是当你每次在本地添加一个新的excel表,保存,发布,等待其自动刷新,但是总是不刷新,找了一圈原因,到数据集这里一看,哦对,需要对新添加的这张表设置凭据。你会不会懊恼不已?...当然也有不少朋友直接导入数据库了,但是据我的了解,绝大部分(以我接触到的范围来看,是这样)使用powerbi的用户,并没有在使用数据库。...但是这种办法有2个问题: 我们发现使用SharePoint.File链接器比web链接器在刷新数据速度上要慢很多 每次查找特定文件比较费劲,尤其是同一个文件名处在不同的文件夹中,我们不能直接判断应该选择哪一个文件

    50913

    1.0 PowerBI数据准备-导读

    PowerQuery是PowerBI的组件,也是Excel的组件,还是一个独立的模块,为很多微软的其他下游工具做数据准备。...PowerQuery使用的是M语言,倡导用鼠标“点点点”的图形化操作,生成一系列分步骤可编辑的查询计划,多个查询计划在后台自动按照依赖关系排列刷新的先手顺序。...在PowerBI中,PowerQuery只是起点,它要为下一步数据建模做准备,生成一系列干净的(尽可能是一维的)维度表、事实表、辅助表、参数等。...常用的功能包括:获取数据、表处理(提升标题、筛选、删除列、逆透视、分组、数据类型等)、列处理(填充、替换、去重、列命名、列排序等)、拆分列、添加列、数据合并(追加查询、合并查询)等。...这些功能的使用顺序通常是先通过筛选、删除列减少要处理的数据量,然后再使用尽可能少的步骤去完成后续的清洗工作,比如多个表先追加查询为一个表再做其他处理。

    7500

    从Power Automate到Power BI实时流数据集:翻山越岭的问题解决

    史上最速Power BI账户获取 Power BI新用户手把手注册指南 还有很早之前研究Onedrive的历程,其中Onedrive for business已经妥妥的解决: Power BI刷新避免使用网关...,蚊子肉也是腿,电费也是钱 PowerBI从Onedrive文件夹中获取多个文件,依然不使用网关 针对“PowerBI从Onedrive获取文件”两篇文章做个补充 慎用SharePoint.Files...使用的是forms填写表单,数据进入实时流,同步展示数据,很多大佬都已经分享过文章。 但是,请仔细看!...输入数据只有3个:签单日期、签单人和签单金额 这样一个数据集在PowerBI中是无法进行编辑的: 而且也无法导入其他的数据: 而且理论上签单日期这一列是日期格式,应该可以设置自动时间智能的,从而生成日期层次结构...在 Power BI 中创建的任何视觉对象或仪表板都可以显示和更新实时数据和视觉对象。 流式处理数据的设备和源可以是工厂传感器、社交媒体源、服务使用情况指标或许多其他时间敏感型数据收集器或发送器。

    2K30

    1.2 PowerBI数据准备-获取Excel,合并相同表头Sheet

    Excel数据源是PowerBI的常用数据源,经常遇到一个Excel文件中有多个相同表头Sheet,比如分月的销量、分班级的统计信息,加载到PowerBI的时候,需要把它们从上到下追加成一个表。...通常的方法会是获取数据的时候把这些Sheet全选加载,然后使用追加查询功能把这些Sheet追加成一个新的表。问题来了,如果后面数据源有更新(比如多了一个月的销量),又多了一个Sheet怎么办?...有些时候,为了筛选出需要的Sheet,可能需要配合其他列的筛选,比如名称列筛选关键字,或者隐藏属性筛选“FALSE”去掉隐藏的Sheet。...提示:这个数据源表内不要放其他不相关的Sheet,以免筛选条件不严谨带进来无效数据。...最后,点击关闭并应用,显示刷新成功。

    7610
    领券