导入数据处理的库 os.chdir('F:/微信公众号/Python/26.基于多列组合删除数据框中的重复值') #把路径改为数据存放的路径 name = pd.read_csv('name.csv...从结果知，参数为默认值时，是在原数据的copy上删除数据，保留重复数据第一条并返回新数据框。 感兴趣的可以打印name数据框，删重操作不影响name的值。...从结果知，参数keep=False，是把原数据copy一份，在copy数据框中删除全部重复数据，并返回新数据框，不影响原始数据框name。...原始数据中只有第二行和最后一行存在重复，默认保留第一条，故删除最后一条得到新数据框。 想要根据更多列数去重，可以在subset中添加列。...但是对于两列中元素顺序相反的数据框去重，drop_duplicates函数无能为力。 如需处理这种类型的数据去重问题，参见本公众号中的文章【Python】基于多列组合删除数据框中的重复值。 -end-
最近公司在做关联图谱的项目，想挖掘团伙犯罪。在准备关系数据时需要根据两列组合删除数据框中的重复值，两列中元素的顺序可能是相反的。...本文介绍一句语句解决多列组合删除数据框中重复值的问题。 一、举一个小例子 在Python中有一个包含3列的数据框,希望根据列name1和name2组合(在两行中顺序不一样)消除重复项。...二、基于两列删除数据框中的重复值 1 加载数据 # coding: utf-8 import os #导入设置路径的库 import pandas as pd #导入数据处理的库...import numpy as np #导入数据处理的库 os.chdir('F:/微信公众号/Python/26.基于多列组合删除数据框中的重复值') #把路径改为数据存放的路径 df =...从上图可以看出用set替换frozense会报不可哈希的错误。 三、把代码推广到多列 解决多列组合删除数据框中重复值的问题，只要把代码中取两列的代码变成多列即可。
SUMPRODUCT+MAX+ROW函数 公式如下： =INDEX($B$2:$B$10,SUMPRODUCT(MAX(ROW($A$2:$A$10)*($D$2=$A$2:$A$10))-1)) 公式先比较单元格D2中的值与单元格区域...A2:A10中的值，如果相同返回TRUE，不相同则返回FALSE，得到一个由TRUE和FALSE组成的数组，然后与A2:A10所在的行号组成的数组相乘，得到一个由行号和0组成的数组，MAX函数获取这个数组的最大值...，也就是与单元格D2中的值相同的数据在A2:A10中的最后一个位置，减去1是因为查找的是B2:B10中的值，是从第2行开始的，得到要查找的值在B2:B10中的位置，然后INDEX函数获取相应的值。...图2 使用LOOKUP函数 公式如下： =LOOKUP(2,1/($A$2:$A$10=$D$2),$B$2:$B$10) 公式中，比较A2:A10与D2中的值，相等返回TRUE，不相等返回FALSE...组成的数组，由于这个数组中找不到2，LOOKUP函数在数组中一直查找，直至最后一个比2小的最大值，也就是数组中的最后一个1，返回B2:B10中对应的值，也就是要查找的数据在列表中最后的值。
在 PowerBI 中处理这类问题主要涉及两件事：业务逻辑的处理以及可视化的处理。在实践中常常表现为以下问题： 客户需求变化了，怎么办？ 几十页的报告，上百的度量值怎么管理？...设计模式（Design Pattern），在软件领域是一个非常重要的概念。而 MVC 模式，可以说是模式的模式，本文将论述如何在 PowerBI 中实现 MVC 设计模式。...我们这里的设计模式绝非对意大利老师所提及的设计模式的简单参考或重复，而是全新的更加透彻的思想提炼，你将在全网范围首次看到如何将软件工程领域的成熟思想和解决方案平滑地在 PowerBI DAX 中实现，本文将让你看到虽然也许你已经学习了很多...一般地，一个 PowerBI 工程应该集中解决一类业务问题。 PowerBI 报告： PowerBI 的可见部分，被包含在一个 PowerBI 文件中。...这样就将更改限制在了一个有限的范围内。 如何在 PowerBI 中实现 DAX MVC 有了上述的理论讨论和说明，现在可以在 PowerBI 中进行实现。
本文将讲解如何从零开始使用PowerBI Desktop制作一份动态销售报告。帮助大家快速入门PowerBI Desktop的操作。我们先来看一下一份动态销售报告的构成。...右上角是放置的卡片图，主要用于显示报告分析中重要的指标。...现在我们在PowerBI中只需要编写一个公式实现 1、点击删除不需要的列，只保留Name和Content.选择这两列然后再删除列中。...14、关闭并应用数据处理，加载数据到PowerBI数据集中 ? 等待应用查询 ? 四、建立表关系、新建度量值 1、建立三个表的关联关系，店铺资料和合并销售数据，销售明细进行关联 ?...选择折线和族状柱形图，选择店铺资料中的城市，列值选择本年销售金额，行值选择业绩完成率。开启数据标签功能 同样的操作方式，选择条形图来制作销售额增长排名 ?
做过诸多PowerBI的报告，也见过许多的他人的报告，很多时候都是这个样子： ? 或者这个样子： 有什么问题吗？...从最开始学习并使用PowerBI，我就受困于这个问题，其实一直到现在我都并没有真正实践最优的命名方式，几年之前使用数据库时面对的问题，如今在powerbi中仍然遇到。...这意味着，如果一个数据集中有一个名为"Sales"的表，则在从同一数据源构建的所有其他数据集中，该表都应当称为"Sales"，而不该是其他的，诸如FactSales、Transactions等其他名。...越来越多的情况下，重复使用数据集是一个很好的选择，理想情况下，你所构建的数据集应该很容易被其他人从中生成报表，毕竟多人的团队合作才是正确的打开方式。...即使你是组织中唯一构建数据集和报表的人，为了你自己使用方便，也为了今后修改、添加和删除一些度量值的时候你自己能够看懂，使代码尽可能具有可读性。
我们这里要讲的爬虫是针对PowerBI软件中创建的采集天气数据爬虫程序。很多行业会受天气影响较大，如果能够知道某地区的天气数据历史记录，就可以让销售数据的维度更加丰富。...本案例的数据源来自于网络-天气后报，网页中的数据最简单的一种形式就是表格。通过本文大家可以和我一样实现下图的天气报告 ?...注意，历史天气数据是回顾过去的，天气预报也是一样的分析思路。 1、建立城市列表 ? 2、建立日期列表 在城市列表中添加开始日期 ? 结束日期 ?...展开日期列数据，将格式更改为日期类型 ? 添加年月列 ? 提取年和月数据用于后续切片器 ? 删除重复项 ?...在使用PowerBI爬虫应用时需要注意的点： 1、分析URL规律是开始处理爬虫的最重要的环节 2、通过PowerBI输入数据功能建立城市列表和使用M函数建立日期列表。
2、在PowerBI Desktop中获取该文件 两个思路 ①ODB中的文件本质上就是个需要登录才能打开的web网页，因此我们可以用web链接器来获取数据 在PowerBI Desktop中，获取数据-...同样地，我们再获取同一个ODB中的另一个文件 简单制作一个可视化对象，保存发布。 到云端查看数据源凭证： WTF？！ 还是需要进行多次凭据的编辑！如果我有几十个文件的话，还是需要进行几十次重复工作！...pbix文件从头开始来实现报告的重新制作，或是在原有的报告中删掉之前的表，以旧表名来建一些新表。...那么，如果还是通过删除表创建新表的操作，会导致大量的重复工作甚至引起极大的关系错乱并导致度量值计算错误，更有甚者会导致报告中表丢失或文件损坏。...不论从该 ODB 中获取多少个文件或者文件夹，数据源凭证这里永远只有一个，也就说，你只需要在第一次发布报告时配置好，那么以后任何时候再次发布报告，哪怕是发布其他的报告，也都无需再次配置凭据。
按照惯例，先上链接： 往期推荐 如何在矩阵的行上显示“其他”【1】 如何在矩阵的行上显示“其他”【2】 如何在矩阵的行上显示“其他”【3】切片器动态筛选的猫腻 引子 正常情况下，我们所见的表或者矩阵...，都是这样的（销售额是度量值）： 子类别是列，销售额是度量值聚合sum求和，子类别不会有重复值。...2016-2019年，我们可以在不同的年份对应的子类别上分别加上不同数量的空格，这样，在[子类别3]这一列中，就不会有重复值了，也就是说在对[子类别3]进行“按列排序”选择[sales.oneyear.rankx2...如果处理的比较好，甚至可以将这一列给“隐藏”掉： （来源：夕枫，多维度动态帕累托分析，优质报告，非常值得学习。 https://app.powerbi.com/view?...可以选择任意列进行排序： 报告链接：https://app.powerbi.cn/view?
因为这是微软的意思。 很多人经常问罗叔，对企业的非IT用户而言，如果让自己的PowerBI设计内容在自己的PC与云端的报告保持同步呢？ 有很多方法，但这里讲一种最自然的方法。...》， 第一步，在本地的 OneDrive 的某个子目录中设计一个 PowerBI 报告并保存为 .pbix 文件。...可以达到的效果包括： 多人同时开发一个 .pbix 文件 多人基于同一个数据模型来设计不同的多个报告 将同一个报告分发到不同的工作区，当报告变化时，工作区的内容同步变化 与此有关的内容包括但不限于： ....pbix 文件版本控制 数据流 数据集 报表集中式管理 限于篇幅，本处略去 5 万字，该部分的详解视频将收纳于BI佐罗即将出品的《PBI高级》中。...（你是没有的） 有很多人问过分工问题，我们都知道，分工越细对于大型工程是有利的，在 PowerBI 中也存在天然的分工方式： 数据流 - ETL - 数据处理和准备 数据集 - 数据模型 - 数据建模和业务逻辑
合适合理的人可以看相应的报告数据，如果不具备地区（店铺）的权限，数据计算会自动适应。这个功能在PowerBI中又叫做：动态权限控制。这需要根据登陆的用户的不同来决定它的计算。...必须要和全局度量值计算对比之类的需求，行级别安全性会过滤数据无法满足。 我们提供一个思路，可以同时解决上述两个问题，那就是： 重复加载相关的事实表，让重复加载的事实表不受行级别安全性的影响。...对需要特定处理的全局计算使用这些不受影响的事实表。 当然，解决了两个痛点的同时又带来了一个问题，那就是数据被重复加载了，导致了冗余，也算是一种不完美，在实际环境中，根据实际问题来权衡处理才是合适的。...我们在报告中用表来显示这个结构的时候，利用了PowerBI的一个技巧，那就是如果值为空（BLANK），会自动隐藏该行，这样我们就巧妙地隐藏了没有权限的页面： 这里又使用了一个技巧，那就是：我们来判断每个页面是否是被当前用户预设的权限表所允许的...空白字符也起到了一种效果，就是显示页面和链接属性却没有视觉上的值，达到了预期的效果。 这种巧妙的设计灵活地使用了PowerBI各种能力，来弥补它的缺陷。
在入门案例动态销售报告中已经带领大家入门制作PowerBI可视化报告。本文主题销售业绩分析将继续针对入门案例进行进一步优化，让大家更改的了解和掌握使用PowerBI的功能。...优化内容主要有两个： 1、数据分析层面：在可视化报告中单独的一个销售业绩指标是没有意义的，只有通过对比指标才能知道销售业绩指标的好坏。...在PowerBI中会自动识别业务数据中涉及的日期范围生成日期表。在本文中业务数据的日期范围从2018-1-1到2019-12-31的所有日期。当然我们还需要添加日期列，如年份，月份等。...当然也有部分企业财年和自然年并不重合，所以可以使用第四个参数指定财年的最后日期。在PowerBI中还有一个类似的函数TOTALMTD用来计算月度累计值。 ?...1、制作销售业绩变化情况图表 销售业绩变化情况图表主要使用PowerBI的折线和族状柱形图，在共享轴中设置年月，列值中放置本期销售业绩，行值设置同比和环比 ?
概述 在此前的多处文章中，我们提到如何统一设置PowerBI中的主题与颜色。那本文将详细介绍这个内容。...由分析师纯手工打造每个细节，而这些细节又兼顾了足够的灵活性，这是使用 PowerBI 设计报告的一个境界。如果大量使用自定义可视化，可能无法实现这种统一。...因此，我们极度推崇使用 PowerBI 原生视觉对象。 颜色 在 PowerBI 中，颜色配置与主题配置并不是一回事，主题配置是包括颜色配置的，主题配置还报告字体以及各种图形元素的默认配置。...本文将主要集中在颜色部分。 首先，我们需要理解你在PowerBI中是如何使用颜色的。...这里需要注意的是：也许数据可视化可以没有标准而追求艺术；但商业图表的可视化和数据可视化是两件事：商业图表可视化并不等同于数据可视化。 从本文来看，我们给出了PowerBI中非常实用的主题设计标准流程。
5秒以内的延迟，几乎可以定义为实时。 流数据集，仪表板，自动刷新。 任何想要的维度汇总，随意添加。 几乎可以称得上“完美”。 这才是PowerBI该有的样子。...详细说明 01 预期目标 在Power BI中，单页面无跳转实现对数据源添加数据，并实时展示各时间维度与其他维度的详细报告。...so： 04 实现 我们在PowerApps中输入数据，将数据存放在SharePoint列表中： 列表中一旦添加行，触发Power Automate向数据集添加行： 使用该数据集创建报告，并在报告中添加...PowerApps组件： 发布报告并将组件展示在仪表板中： 如何应对极度刁钻的甲方：Power BI处理非结构化流数据集思路 就出来文章一开始所展示的视频了： ALL in ONE，全部在一个页面中。...5秒以内的延迟，几乎可以定义为实时。 流数据集，仪表板，自动刷新。 任何想要的维度汇总，随意添加。 几乎可以称得上“完美”。 这才是PowerBI该有的样子。
可以点击【修复此问题】进行修复，修复的方法是删除该视觉对象使用的不存在的字段。在复制粘贴后保持各种设置与来源一致。这有点像Excel中的复制粘贴后，使用目标主题还是使用源主题。...新的筛选器面板 对于已经存在的报告是不会自动打开该功能的，需要手工启动，如下： ? 可以看到： ?...再复习下什么是中国式复杂报表，就是配备任意复杂组合的表头的报表，很显然这种报表在PowerBI中是无法拖拽出来的，但可以制作表头并配合DAX公式计算每个报表单元格的值，但这里有一个重大缺陷： 由于只能使用一个度量值...不妨称这是Excel120建立的 方法论：PowerBI 系统化报表工程设计，该方法论是可以机械重复的，可以应对大型PowerBI报表（30页页面以上，200个度量值以上）主要由以下部分构成： 非侵入式模型设计...值得一提的是：PowerBI的任何视觉对象都可以转为数据汇总表结构，而这个数据汇总表来自不同字段和度量值的组合运算效果，这个表其实是一个汇总表（对应于Tableau中的表计算），由于PowerBI并不提供表计算
今天的主题是：复用 PowerBI 数据集。 在我们把报告发布到云端以后可以有： ? 也就意味着我们可以复用不同的数据集。...数据集，是存储 PowerBI 数据容器名称，是 PowerBI 可视化背后的实际数据。这份数据可以依照不同角色的需求去做不同的报告。...在 Excel 中分析 用户如果要制作复杂的数据型报告，PowerBI 不太适用，那么可以继续基于 PowerBI 数据集在 Excel 中进行分析，如下： ?...双击打开它，会自动开启 Excel，因为这就是 Excel 中的数据连接文件，这里会自动弹出验证界面，如下： ? 通过验证后，它准确地锁定到我们已经做好的模型数据集，如下： 现在就可以直接用透视表了。...关于 PowerBI 复用 我们之前介绍过如何在自己的电脑上用 Excel 连接 PowerBI 数据集并展开分析。唯一的问题就是无法让同事来共享这些分析，那么现在可以了。
排序 指导您如何对查询返回的结果集进行排序。 去重查询 为您提供一个删除结果集中重复行的子句。 第 2 节. 过滤数据 主题 描述 WHERE 根据指定条件过滤行。...LIMIT 获取查询生成的行的子集。 FETCH 限制查询返回的行数。 IN 选择与值列表中的任何值匹配的数据。 BETWEEN 选择值范围内的数据。 LIKE 基于模式匹配过滤数据。...子查询 主题 描述 子查询 编写一个嵌套在另一个查询中的查询。 ANY 通过将某个值与子查询返回的一组值进行比较来检索数据。 ALL 通过将值与子查询返回的值列表进行比较来查询数据。...主题 描述 插入 指导您如何将单行插入表中。 插入多行 向您展示如何在表中插入多行。 更新 更新表中的现有数据。 连接更新 根据另一个表中的值更新表中的值。 删除 删除表中的数据。...PostgreSQL 技巧 主题 描述 如何比较两个表 描述如何比较数据库中两个表中的数据。 如何在 PostgreSQL 中删除重复行 向您展示从表中删除重复行的各种方法。
几乎每一个报告中都需要日期表： Power BI创建日期表的几种方式概览 也有不少报告需要同时使用日期表和时间表： 在PowerBI中创建时间表（非日期表） 如何在PowerBI中同时使用日期表和时间表...学谦： 首先，PowerBI是一个数据分析的工具，并不仅仅是可以用来进行商业数据分析和商业智能，它还可以用来做科研（一本正经地说）： 学谦也经常拿PowerBI来分析《资治通鉴》（听我给你一本正经的胡说八道...此时就会出现一个问题，在pq中显示的好好的日期加载到报告中却消失了： 这就不太好了。 所以，办法还是需要想一想的。...我们注意到，文档中还有这么一句话： 对于大于 9999 或小于零（负值）的值，该函数将返回 #VALUE! 错误。...3.PowerBI可以用来做科研 4.PowerBI可以用来分析《资治通鉴》 遗憾： 公元100年之前的日期从pq中加载到报表中消失的问题尚未解决，有待进一步研究。
，我们不妨来对比研究一下对于同样的略微复杂的功能是如何在不同的产品中实现的。...PowerBI 无法设置同一可视化对象的分组也自然无法在报告层完成复杂计算。 PowerBI 报告层幸好有 PowerBI DAX 可以依赖。...效果如下： 在 PowerBI 中，在报告层面可以实现传达同样信息的效果，但从报告层的细节来说，仍无法做到 Tableau 的融合性，例如： 无法做到最少可视化元素的完备性以及整体性，PowerBI 产品经理有的玩了...按计算分组 如果您管理公司的配送运营，可能会对哪些产品的运输成本高于平均值感兴趣。在 Tableau 6 中，可以计算整个时间窗口的平均值，并在计算中使用该值对各值进行分组和配色。...Tableau 具有一套完备的报表级计算公式系统。 PowerBI 可视化组件系统并不完备，典型的缺失如：可视化对象的分组整体显示。 PowerBI 没有报表级计算公式系统。
（如：x像素） 在PBI布局网格中，任意元素的最小高度（宽度）是多大？（如：x像素） 在PBI布局网格中，如果要制作一个背景标题，应该选择什么元素？...在 PowerBI 中，可以使用Ctrl+C, Ctrl+V的方式将PQ逻辑复制粘贴进新的PBI文件，这个功能使得数据准备的逻辑可以复用，是非常重要的。...几乎没有PowerBI的报表是仅仅依赖业务数据构建的，为了构建报表，还需要一些辅助的数据，称为：报表模型数据，如：年龄分组，参数表等。...模型维护 模型维护，是PowerBI报表设计的重点。 模型维护中，常见的问题包括： 哪个自定义图表没用过，可以删除，不知道。 哪个列没用过，可以删除，不知道。 哪个度量值没用过，可以删除，不知道。...报告分析 可以看出对于本报告： 使用了 35 个页面 使用了 942 个可视化对象 使用了 17 种可视化对象 包括 26 张表 有 117 个度量值 实际使用了 19 列 这个报表所使用元素的规模（35
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
腾讯会议
云直播
对象存储
