Power BI - Power Query Editor:删除所有重复项(不保留任何属于复制项的行)

Power BI是一款由微软开发的商业智能工具，用于数据分析和可视化。Power Query Editor是Power BI中的一个功能，用于数据的清洗和转换。在Power Query Editor中，可以使用删除重复项功能来删除数据集中的重复记录。

删除所有重复项是指删除数据集中所有重复的记录，并且不保留任何属于复制项的行。这个功能在数据清洗和数据预处理过程中非常有用，可以确保数据的准确性和一致性。

使用Power Query Editor删除所有重复项的步骤如下：

打开Power BI Desktop，并导入需要清洗的数据集。
在Power Query Editor中，选择需要进行删除重复项操作的数据表。
在“开始”选项卡中，点击“删除重复项”按钮。
在弹出的对话框中，选择需要删除重复项的列，并确保勾选了“删除所有重复项”选项。
点击“确定”按钮，Power Query Editor会自动删除所有重复项，并更新数据表。

Power BI的优势在于其强大的数据分析和可视化功能，可以帮助用户从海量数据中提取有价值的信息，并以直观的方式展示出来。它适用于各种行业和领域，包括销售、市场营销、金融、制造业等。

腾讯云提供了一系列与Power BI相关的产品和服务，包括云数据库 TencentDB、云存储 COS、云服务器 CVM 等。这些产品可以与Power BI无缝集成，提供稳定可靠的数据存储和计算能力，以支持Power BI的数据分析和可视化需求。

更多关于腾讯云产品的介绍和详细信息，请访问腾讯云官方网站：

相关·内容

微软发布 Power BI 2020 上半年发行计划

Query 模式 Live Connection 模式后两种常常被搞混淆，对于连接 SSAS 的场景，目前只支持 Live Connection 模式。...数据流支持DQ模式预计发布：2020.4 预览数据流可以解决重复加载一个数据源的问题，此前的数据流都必须是导入模式，现在准备开始支持DQ模式了。...这个也很实用，只不过还是不彻底，很显然是无法复制粘贴到Word里的。如果可以复制粘贴到其他 Office 应用，那就牛了。...+ Power BI Service + Power BI Mobile 充分释放 Power BI的自助分析能力，在 2020 包括增量刷新，表和矩阵的小计与总计行，更易用的 Power BI 界面和...怎么做到我们已经形成一套BI领域的学习体系，虽然您可以以任何身份和任何形式以及任何成本接触并学习 Power BI，但我们非常自信这套体系是最佳实践：不是广告，而是涨价通知，以上内容将在 2020

4K1 0

Power Query 真经 - 第 8 章 - 纵向追加数据

图 8-12 一月到三月的记录现在显示在一个【数据透视表】中【注意】记住，如果查询被加载到 Excel 或 Power BI 的数据模型中，点击一次【刷新】就可以更新数据源和任何透视或可视化对象。...但事实如这里所示，追加和编辑单独的追加项，是一项重要的技能，用户必须掌握它，才能熟练地使用 Power Query。...然后扫描第二个（和后续）查询的标题行。如果任何标题不存在于现有列中，新的列将被添加。然后，它将适当的记录填入每个数据集的每一列，用 “null” 值填补所有空白。...设置 “Month End” 列的数据类型【日期】。选择所有列并转到【主页】【删除行】【删除错误】。筛选 “Certificate” 列，取消勾选 “(null)” 值。...因为 Power Query 的纵向追加数据功能，原有的工作时间被大幅缩短，并且不存在用户意外地复制粘贴数据导致数据重复的风险，这里根本不需要复制粘贴，只需要将一组数据追加到另一组，删除重复的标题。

6.6K3 0

这十个问题，Power Query初学者经常问

Ø 另外，PowerQuery同时是微软Power BI的重要部分，Power BI刚推出3-4年，已经成为商业智能行业软件的最高领导者（见Gartner2018评估报告），占据了敏捷BI（商业智能）的巨大市场份额...，学好Power Query将对以后过渡到Power BI的学习非常有帮助。...【答】Excel会基本操作就能开始学Power Query，因为Power Query里面大部分也只是点点点的操作而已，详情可参考文章《什么人适合学Power BI（Query）？》...我的所有微信基础文章都考虑了这个问题，所以尽可能保证了所有文章的相对独立性，即每篇文章里不怕重复地写了所有操作步骤，跟着一步步练就行。...【答】那是Power Query的M语言及函数部分内容，属于高阶内容，开始时完全不需要理会。

1.4K3 0

Power Query中避免出错的几种情况

在Power Query中对于数据的类型要求比较严格，如果在中间步骤不是计算必要的数据类型，可以暂时不更改，而等到最后的时候在进行数据类型的更改，这样也能够更方便的发现问题的所在。 ?...例如：要把成绩放到最后一列，甚至都不清楚列的数量及列的名称的情况下来实现操作。 ? (六) 删除数据列删除列以及选择列都是属于删除数据的一种操作。...(十) 删除重复项在创建维度表的时候，会常用的操作就是去除重复项，要不然在Power BI中会产生多对多的关系，就会引起错误，不过在去除重复项的时候也需要进行仔细辨别。 1....字母的大小写在Power BI的模型关系中，不会区分大小写，如果只是大小写的区分，则会直接判断为多个关系，所以在Power Query中进行清洗的时候就要特别留意，以避免因为大小写产生的错误导致数据表之间的关系错误...不可见的符号此外就是不可见的符号了，这种也会经常导致匹配错误或者删除重复项时未完全成功，所以在执行删除重复项之前使用修整和清除来把数据给清洗下。

5.2K4 1

Power Query 真经 - 第 1 章 - 基础知识

单击选择任何一列。按 CTRL + A （选择所有的列）。转到【转换】选项卡，单击【检测数据类型】。...图 1-21 数据已经从 4,575 行加载到 4,921 行 1.7 Power Query 的价值一旦习惯使用 Power Query，会发现它会对工作流程产生巨大的影响。...过去，当收到一个更新的数据文件时，需要手动重新执行所有的数据清洗步骤，然后将清洗后的数据复制并粘贴到数据表中。...有了 Power Query，所有的重复工作都不复存在了，只需单击【全部刷新】按钮，就完成了，就是这么简单。它不仅速度更快，而且保证过程每次都能一致地应用，消除了可能导致错误的人为因素。...事实表明微软在其产品中倡导 Power Query，未来也可能会出现在更多产品中。虽然学习如何使用一种新工具总会付出时间精力，但如果该工具大有前途且到处可用，这种学习不也是一项投资吗？

4.8K3 1

Power Query 真经 - 第 2 章 - 查询管理

用于提取 “原始数据” 的查询层：这层查询是用来从数据源中提取数据的。这里只做了很少的转换。事实上，在这个步骤中，通常只删除不使用的列或行。...2.2.3 查询依赖关系树的可视化还应该知道 Power Query 有一个内置的工具：查询依赖项查看器。这样就可以看到查询是如何被串联起来的，一起来看看吧。转到【视图】选项卡【查询依赖项】。...【警告】尽管【查询依赖项】工具乍一看非常有用，但是 Power Query 发布时附带的版本缺少有用的功能。...2.3.1 在 Power BI 中选择加载目的地默认情况下，所有的 Power BI 查询将加载到数据模型中。如果想改变这一点，需要进行如下操作。...在 Power BI 中可以单独配置每个查询，而 Excel 只允许用户在一个 Power Query 会话中创建的所有查询选择一个加载目的地（自 Power Query 编辑器可以在 Excel 中使用以来

2.6K4 0

Power BI x Python 关联分析（下）

前言上回提到，Power BI借助Python做关联分析，可以轻松地找出物品中的频繁项集，且该频繁项集内的物品数量不限于2个。...实现方式既可以通过Power BI里添加Python可视化控件直接生成Python式图表，也可在PQ里借助Python处理数据。前者最大的好处体现在与切片器联动中，是即时计算新的频繁项集。...方法首先点击【转换数据】进入Power Query(PQ)界面。接下来，我们复制一份源数据。...比如当数据源计算的是整个时间段（如全年）的频繁项集，则无法通过切片器即时地改变数据源生成部分时间段（如某月）的频繁项集。有没有解决办法呢？【参数化查询】是目前Power BI应对的一个权宜之计。...详情参见本文——Power BI的时间序列预测，除了移动平均还能怎么做？

9633 1

从零搭建微信公众号数据分析体系：纯Excel方案

虽然很多人都错觉power query是power bi中的东西，但其实power query是excel中的东西，甚至说，power bi 早期也是excel中的东西。...以之前准备好的代码为例，我们可以在power bi的power query界面打开高级编辑器，复制其中的M code出来。...看起来是不是和在power bi中启用的power query非常类似？其实真的是一毛一样的，唯一的差别来自于，我设置了excel的主题色是黑色，所有下半段的界面是黑色的。...其实power bi中也是一样有这个选项的，也就是说，下面所有的零coding方案，对于power bi也是完全适用的。...这里推荐一个Excel最强BI插件Zebra BI charts。获取方式和正常获取Excel插件是一样的，依次点击文件>加载项>获取加载项>搜索Zebra>点击添加。

3262 0

PQ获取TABLE的单一值作为条件查询MySQL返回数据

下午，我正爽歪歪地喝着咖啡，看着Power BI每秒钟刷新一次，静静等待某个分公司完成本月绩效任务，自动调用Python在钉钉群中发送喜报：紧接着再次调用Python将Power BI云端报告中的各分公司最新完成率数据和柱状图截图发在群里...：用的自然是下面这两篇文章的骚操作：如果雇一个人7d×24h每10秒刷新一次Power BI，我需要每月支付他多少钱？...（前提，数据库中有所有人的全部记录。）常规思路是，直接在数据库中查找这个人，按条件返回即可，只不过还得写一个导出到文件，然后打开文件复制到原来的表中，说实话还真有点繁琐。...那在Power Query中有没有可能设置主键呢？...我们对表的ID列进行去重（虽然其本身已经没有重复项，但这个操作必须得有），当做主键：同样，选中moon右键-深化：此时我们再来看看查询编辑器：注意这个时候的第四行： NAME = 删除的副本{[ID

3.5K5 1

BI为什么我的查询运行多次？

详细信息：缓冲表加载到Power BI Desktop模型在Power BI Desktop中，Analysis Services (AS) 使用两个评估来刷新数据：一个用于提取架构（即通过请求零行实现的架构...详细信息：禁用后台分析其他Power Query编辑器后台任务各种Power Query编辑器后台任务还可以触发 (额外的数据源请求，例如查询折叠分析、列分析、1000 行预览的自动刷新，Power...例如，如果开始：在Power Query编辑器中禁用防火墙禁用后台分析禁用列分析和其他任何后台任务[可选]执行 Table.Buffer在此示例中，刷新Power Query编辑器预览时，只会进行单个...设置Power Query编辑器无需重新连接或重新创建查询，只需在Power Query编辑器中打开要测试的查询。如果不想使现有查询混乱，可以在编辑器中复制查询。...后台分析由“允许数据预览”控制，可在“禁用Power Query后台刷新”中所述的后台设置中下载Power BI。还可以在Excel中禁用此选项。

5.5K1 0

彻底解锁Html.Table函数，轻松实现源码级网页数据提取 | Power BI

以前，在讲解用Excel的Power Query抓取网站内容的时候，主要使用Web.Page函数来提取其中的表格内容，但是，这个函数有很大的缺陷。...BI会自动识别出“同类”的信息进行填充：也可以直接双击单元格进入编辑状态，此时，Power BI会提示可选的内容，按需要选择2-3项后，Power BI也会自动识别出“同类”的信息进行填充：...，复制到文本文件里并修改扩展名为.html，用浏览器打开，代码对应的效果如下：接下来我们看一下Html.Table后面的参数： 1、行筛选器：[RowSelector=".name"] 这个参数会决定提取结果中的...，Power BI自动生成的代码之所以只取了部分数据，是因为我们实际上需要提取所有class为provincetr下的td项，而不区分到底取哪一个位置的，所以，我们可以直接去掉限制:nth-child(...但是，要注意的是，目前[Attributes]后接具体属性仅支持[href]和[src]，对于其他属性，不要直接加上属性名称，而是用 each [Attributes]提取所有属性后，再在Power Query

1.4K4 1

PP-数据建模：明明删除了重复项，为什么还是说有重复值？

最近，有朋友在用Power Pivot构建表间关系的时候，出现了一个问题：明明我已经删除了重复项，但构建表间关系的时候，还是说我两个表都有重复的数据！...——按道理来说，Power Pivot出来也这么多年了，不至于会犯这么低级的错误！但是，我又绝对相信这些朋友既然能将问题提到这种程度，肯定也是做了删除重复项的操作。...如下图所示，以姓名列为基础进行删除重复项：结果没有找到重复值：为什么呢？表中的第2/3,4/5,6/7,8/9看起来不是一样的吗？...至此，谜团终于揭开，并且，可以简单总结一下了： 1、如果相同的内容，一个后面没有空格，而另一个后面有空格，那么，在Excel里面，这是两项不一样的内容，也不能通过删除重复项清除（在Power Query...里也同样不能）； 2、但是，对于Power Pivot来说，无论后面是否有空格，在数据添加到数据模型时，文本后面的空格会被删除（我们可以从模型中将数据复制到Excel中查看），因此会被识别为重复项； 3

3.1K2 0

Power Query 真经 - 第 10 章 - 横向合并数据

在它们下面的第 3 行和第 4 行中，可以看到【右反】连接中的项，这表示右表中的记录在左表中没有匹配项。此连接非常有用，因为它是所有未匹配项的完整列表。...在这种情况下，解决这个问题的方法非常简单：在 “Months” 表中，右击 “Month” 列并选择【删除重复项】。这样做应该是安全的，因为不应该两次预测同一个月。...但是，在【合并】之前【删除重复项】也应谨慎。...Power Query 利用 Jaccard 相似性算法来度量实例对之间的相似性，并将得分为 80% 或以上的任何内容标记为匹配项。...10.5.3 降低相似度阈值如前所述，Power Query 利用 Jaccard 相似性算法来度量实例对之间的相似性，并将得分为 80% 或以上的任何内容标记为匹配项。

4.1K2 0

Power Query 真经 - 第 11 章 - 处理基于 Web 的数据源

Power Query 团队一直在研究这个功能，在编写本篇时，【网页连接器基础结构更新】功能已发布在 Power BI 的预览功能中，用来解决这个问题。...图 11-4 使用 Power Query 连接到 HTML 网页 11.2.2 自然表和建议表关于这个网页，用户可以立即认识到的一点是，它实际上并不包含任何已定义的表。...一旦用户这样做了，用户就可以开始痛苦的第二部分；在 Power Query 中重复刚刚寻找表格元素的步骤。...图 11-12 最令人失望的结果现在，用户需要非常仔细地复制在 Web 开发人员界面中执行的步骤，钻取 Power Query 的相应表元素。...好消息是，根据本书在 Power BI 中展示的效果，未来情况将会好转（希望在用户阅读本书时，能在 Excel 中看到 Power BI 中的同样特性）。

2.8K3 0

Power Query 真经 - 第 9 章 - 批量合并文件

手动重复复杂的转换步骤很容易出错。幸好，Power Query 也有办法来解决这两个问题的。...图9-14 基于“FilesList”查询的第一个文件“转换示例文件”的所有 13 行当用户第一次转到“转换示例文件”时，理解 Power Query 自动创建的步骤很重要。...Filtered Hidden Files1（筛选的隐藏文件1）：添加一个筛选器，从文件列表中删除任何隐藏的文件（是的，Power Query 也会列出存储在文件夹中的隐藏文件和系统文件）。...行：“Part Nbr”。列：“Year”，“Quarter”。结果（在 Excel 和 Power BI 中）如图9-24所示。此时 Power BI 中展开到了季度级别来显示季度数据。...Query 真经 - 第 2 章 - 查询管理 Power Query 真经 - 第 3 章 - 数据类型与错误 Power Query 真经 - 第 4 章 - 在 Excel 和 Power BI

4.7K4 0

Power BI：关于FilterDatabase和命名区域(DefinedName)

文章背景：在使用文件夹的方式批量导入多份Excel文件时，由于Excel文件中存在隐藏的筛选行，所以导致数据重复录入，后来看了赵文超老师的一篇文章（见文末的参考资料1），对这一问题有了新的认识。...2 通过Excel工作簿导入在Power BI中，通过Excel工作簿导入上述的销售数据表，一切正常。...之所以我们导入的结果正确是因为在下一步导航中，Power Query 默认只导入Kind="Sheet"的数据，也就是我们的工作表数据，没有包括命名区域的数据。...得到的结果如下：对数据展开：得到的结果如下：我们会看到，这里有三项数据，第一项是销售数据表。另外两项是命名区域，如下图所示。...4 通过Excel源文件中调整的方法除了上面介绍的在Power Query中规避的方法，大家也可以对Excel源文件进行调整，但是由于源文件经常需要更新，所以并不推荐这种方法。

1.6K5 0

【Power BI X SSAS]——再看Power BI数据连接的三种方式

如果源表中有 100 万行，并且在不进行筛选的情况下将其加载到 Power BI 中，则最终在 Power BI 中拥有相同数量的数据行。...您可以使用 Power Query 组合来自多个源的数据，或使用 DAX 编写高级时间智能表达式或可视化。使用此方法对 Power BI 的功能没有限制。您可以使用所有组件。...主要是因为 Power BI 文件中没有存储数据，因此您永远不会遇到任何数据大小问题。...使用这两种语言中的任何一种，您都可以满足所有计算和建模需求。此方法比 DirectQuery 具有更好的建模功能。因为在 DirectQuery 中，没有 DAX 或 MDX 作为帮助的分析语言。...报表级别度量是一项很棒的功能，因为用户无需调用 BI 开发人员即可创建度量。但是，这些度量不会添加到数据集中。这些只是为了报告。

7.1K2 0

列名是会变的日期，数据更新就出错，怎么办？

在用Power Query处理数据表的过程中，经常碰到一个问题——标题行是变化的，比如下面这个例子，日期随着数据的变化而更新：这时，因为使用了提升标题行的操作，结果在源数据变化后就出错了：一般来说...一旦接入的数据列存在变化，就会因为找不到原来在“更改的类型”步骤里使用的列而出现错误。知道了原因，解决这个问题本身就很简单：删除自动生成的“更改的类型”步骤即可。...但是，如果每次导入数据，都需要进行删除，岂不是很麻烦。...所以，一般建议，可以直接把Power Query(BI)中自动更改类型的功能关掉，具体步骤如下： Step-01 在Power Query编辑器里，依次点击“文件/选项和设置/查询选项”，进入查询选项配置对话框...关于使用Excel和Power BI涉及的几个推荐修改的配置项，请参考文章：《开始用Power BI？别急！这几个选项配置值得注意！| PBI实战》。

8972 0

Power Query 真经 - 第 4 章 - 在 Excel 和 Power BI 之间迁移查询

Power Query 可以在 Power BI 或 Excel 中使用，很多人一开始就在想到底用哪个平台来使用 Power Query，其实不必为此纠结，总有一天会意识到需要把查询复制到一个另一个中的...请记住，虽然本书的重点是 Excel 和 Power BI，但这些步骤对于任何承载 Power Query 的工具来说几乎是相同的，即使它包含在其他微软产品或服务中。...右击【查询 & 连接】窗格的空背景【粘贴（或者选择它并按 Ctrl + V ）】。此时，Power Query 不仅粘贴了复制的查询，还粘贴了构成该查询链的任何依赖的前序查询。...所有的日期都被复制为日期序列号（自 1900 年 1 月 1 日以来的天数），而不是可识别的日期。在这一步中，Power BI 显示的数据量是有限制的。...数据将继续存在于 Excel 文件中，这意味着在 Excel 文件中进行的任何添加、删除或更新都只需简单的刷新即可。来重做之前的例子，但这次选择创建一个与 Excel 文件的连接，而不是复制数据。

7.6K2 0

Power Query-汇总文件夹中多工作簿多工作表到一个文件

Power Query-汇总文件夹中多工作簿多工作表到一个文件我们在常感叹“不懂office Excel的是电子表格，懂的就是Excel”！！为什么呢！...如果当excel为电子表格的人，做了一辈子的工作也是重重复复的“复制—粘贴”的工作，因为Excel中有VBA编程的功能，能使用很多重复的工作一个小程序是搞掂，所以就是“Excel”了。...当我们在学习VBA编程汇总多工作簿多工作表到一个文件时，微软在新的Office版本中有开发出个神器Power BI，这个组件在office2013和office2016是整合在一起的，office2010...和Name两列，删除其他列第五步，点击双箭头的地方出现合并文件窗口，选中Sheet1，（这是说每个文件有三个工作表，我只要所有的Sheet1合并就可以啦）第六步：选中sheet1—确定...第八步，删除行---删除重复行最后关闭并上载---就可以啦，再整理一下有一个好处就是当文件中的内容修改、添加、减小等操作后只要刷新一下就可啦期。 ======今天就学习到此=====

2K5 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云