首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Python将表格文件的指定列依次上移一行

    本文介绍基于Python语言,针对一个文件夹下大量的Excel表格文件,对其中的每一个文件加以操作——将其中指定的若干列的数据部分都向上移动一行,并将所有操作完毕的Excel表格文件中的数据加以合并...由上图也可以看到,需要加以数据操作的列,有的在原本数据部分的第1行就没有数据,而有的在原本的数据部分中第1行也有数据;对于后者,我们在数据向上提升一行之后,相当于原本第1行的数据就被覆盖掉了。...此外,很显然在每一个文件的操作结束后,加以处理的列的数据部分的最后一行肯定是没有数据的,因此在合并全部操作后的文件之前,还希望将每一个操作后文件的最后一行删除。   ...接下来的df.iat[i, columns_index] = df.iat[i + 1, columns_index]表示将当前行的数据替换为下一行对应的数据。   ...接下来,我们通过if len(df):判断是否DataFrame不为空,如果是的话就删除DataFrame中的最后一行数据;随后,将处理后的DataFrame连接到result_df中。

    12210

    PowerBI 打造全动态最强超级矩阵

    绿色,表示列标题部分。 紫色,表示行标题部分。 蓝色,表示数据值部分。 上述三部分由黑色框线区分开来。 浅黄色,行列小计部分。 深黄色,总计行部分。 请动手自己调配出形如这里的矩阵来进行理解。...因此,矩阵需要至少知道四方面信息: 行标题部分,可以有层级。 列标题部分,可以有层级。 值部分,可以有多个值。 汇总部分,可以有层级。...一般来说: 行标题是分组。 列标题是分组。 值部分是多种汇总。 汇总部分按值部分的计算进行。...如果无法默认存在规律,我们就需要单独考虑标题列,标题行,值,汇总的分别计算模式: 但总的来所,行列交叉处进行度量值计算。将 矩阵 叫做 交叉表 未尝不可,因为从字面意思可以看出行列交叉处产生运算。...考虑按列排序,才能在矩阵表现时,有希望的排布顺序。 构造标题行,本例中,使用 DAX 动态构造出标题行: 本例中,故意做了小计行和总计行以展示处理它们的能力。

    14.7K43

    1.11 PowerBI数据准备-分组,提取每个客户每月最后一天的库存

    加入 PowerBI自己学 知识星球 可以:下载源文件,边学边练;遇到问题,提问交流,有问必答。 客户按天和产品把库存上传到数据库中的库存表,用作PowerBI的数据源,行数太多导致模型很大。...操作步骤 STEP 1 PowerQuery获取数据后,点击菜单栏添加列下的自定义列,新增一列年月,用作辅助列。...STEP 2 按住Ctrl键选择客户列和年月列,点击菜单栏转换下的分组依据,按照客户、年月分组,一列命名为每月最大日期,操作对日期取最大值,一列命名为待处理,操作取所有行。...STEP 3 点击待处理列标题右侧的展开按钮,选择日期、产品、库存,去掉使用原始列名作为前缀的挑勾以保持列名的简洁性。...STEP 4 对日期列筛选任何一个值,然后把等号后面的部分改为[每月最大日期],这样就留下了第二步中客户、年月对应的最大日期的数据。 STEP 5删除每月最大日期列,就得到了想要的结果。

    7110

    一步一步教你PowerBI利用爬虫获取天气数据分析

    展开日期列数据,将格式更改为日期类型 ? 添加年月列 ? 提取年和月数据用于后续切片器 ? 删除重复项 ?...展开URL列,选择Source和Data列即可 ? 展开Data列,只保留前四列数据 ? 删除多余的内容,筛选去除标题和空白行 ? 拆分气温为最高和最低气温,按分隔符/拆分 ?...大家可以将起始日期更改为2019-1-1以后的日期加载数据会比较快一点。 三、制作可视化报告 1、制作年份,月份,城市切片器。城市切片器注意设置方向为水平方向 ? 2、气温趋势线 ?...在使用PowerBI爬虫应用时需要注意的点: 1、分析URL规律是开始处理爬虫的最重要的环节 2、通过PowerBI输入数据功能建立城市列表和使用M函数建立日期列表。...注意:PowerBI爬虫应用不只是能够解析这种简单的结构,目前有很多的网站后台都是传递的json数据,PowerBI也是可以应对的处理的,只是需要将JSON数据转换为表格。

    2.5K10

    汇总Excel数据,列名不一样怎么办?| Power Query实战

    视频已在知识星球发布,数据下载链接:https://t.zsxq.com/07pmuqNxc 我是大海,欢迎加入知识星球【Excel到PowerBI】,更多系列视频,更多实战练习,问答更详尽,学习更高效...Step-02 展开合并数据 Step-03 删除其他列 Step-04 提升标题行 Step-05 筛选删除多与数据(列名) 即,使用Excel.Workbook函数解析工作簿时,不要添加第二个参数..., List.Transform( Table.ColumnNames([Data]), (x)=>if Text.Contains(x,"日期") //如果包含日期,改为...and Text.Contains(x,"员") // 并且包含“员” then {x, "采购员"} // 改为...“采购员” else {x,x} ) ) 公式的核心是用List.Transform函数,将原表的列名转换为用于对表进行列重命名的函数的参数。

    2.2K30

    PowerBI相对日期切片器——解决时区偏差问题

    为了更真实一些,我直接把系统的时区改为了东10区,现在这个点应该是5月18日的0点之后了: 以下就是有问题的相对日期,5月18日应该显示的是5月18日的数据,但是仍然显示5月17日: 因此呢,我需要将这个...5月17日强行修改为5月18日,办法其实只有一个:添加列。...这一列的日期在早晨8点之前显示的是日期表这一行的日期的前一天,而在8点后显示的是当天。...Date]-1,'日期'[Date]) return dateoffset 为了加以验证是不是能管用,我们先做个测试: 当前是东八区的22点,date offset和date是相同的: 如果我这里直接将UTCNOW...我们将相对日期切片器的日期列更改为date offset列,然后: 可以看到当前时间是东10区的18日1点钟,矩阵中的日期显示的就是18日的数据。

    1.9K30

    1.2 PowerBI数据准备-获取Excel,合并相同表头Sheet

    加入 PowerBI自己学 知识星球:下载源文件,边学边练;遇到问题,还可以提问交流。...Excel数据源是PowerBI的常用数据源,经常遇到一个Excel文件中有多个相同表头Sheet,比如分月的销量、分班级的统计信息,加载到PowerBI的时候,需要把它们从上到下追加成一个表。...STEP 3 选中Data列(如果Sheet名称也有用,可以按住Ctrl键连Name一起选中),点击鼠标右键,选择删除其他列。STEP 4 在Data列点击列标题右侧的展开按钮,点击确定。...STEP 5 点击表的左上角的表格按钮,选择将第一行用作标题。STEP 6 在任何一列上点击列标题上的筛选按钮,选择文本筛选,让它的值不等于这一列的标题名称,用来把其他Sheet的表头去掉。...图片STEP 7 点击列标题左侧的类型图标,按需修改每一列字段类型。最后,点击关闭并应用,显示刷新成功。

    7610

    基于Excel2013的PowerQuery入门

    文件夹图示.png 0.Power Query与其他PowerBI系列组件的关系 获取数据——>分析数据——>呈现数据 PowerQuery获取和整理——>PowerPivot建模和分析——>PowerView...交互式报表||PowerMap地图可视化——>PowerBI在线版可视化仪表板发布和分享 ?...将第一行作为标题.png ? 成功将第一行作为标题.png ? 删除间隔行1.png ? 删除间隔行2.png ? 成功删除最后一行.png ? 填充按钮位置.png ?...加载数据至查询编辑器中.png 选定日期这一列,将数据类型改为整数。 ? image.png ? 删除错误行.png ?...将标题作为第一行.png ? 转置按钮位置.png ? 转置后结果.png ? 将第一行作为标题.png ? 取消自动更改类型.png ? 关闭并上载至原有表格.png ? 上载设置.png ?

    10.2K50

    2.3 PowerBI数据建模-理解度量值

    因为Excel的Sheet既存储数据也展示报告,所以它有两种生成报告的模式:1 一个Sheet完成存储和展示,存储即报告,这样,比如达成率、增长率就需要在某一列的单元格写个公式直接计算;2 将报告和数据分开在不同的...如果你熟悉Excel的透视表,把字段拖到透视表的右下角窗格(值),实际上就生成了一个度量值,如果是数字格式的列默认是对这个字段SUM,也可以改为其它的简单的运算方式,比如计数、平均值、最大值等。...只是PowerBI的度量值,相比计算字段能实现更复杂的运算逻辑。透视表的值:透视表的计算字段:图片PowerBI的度量值是一套动态的运算逻辑。它是逻辑,直接看它只是一串DAX代码。...度量值与数据表中的列不同,虽然新建列也能写一个达成率,但是在PowerBI的数据表里面添加达成率、增长率这样的列基本上是没意义的。...列是指这个表每一行的达成率,把它拖到画布上放到报告里,进行聚合运算就什么都不是了。如果改为不做聚合运算,那它就是一个维度,是指按照不同的销售达成率去做分组汇总的意思。

    7010

    1.23 PowerBI数据准备-使用List.Dates,展开拉链表的日期

    加入 PowerBI自己学 知识星球 可以:下载源文件,边学边练;遇到问题,提问交流,有问必答。...PowerBI建模时,如果需要按日期建立关系和汇总,就要把日期展开放在一列,转换为一维表。解决方案 将每一行的开始日期和结束日期之间的日期展开,形成1行*N行的笛卡尔积。...举例将使用开始日期和结束日期的假期表转换为带日期列的一维表。操作步骤 STEP 1 PowerQuery获取数据后,点击菜单栏添加列下的自定义列,输入如下代码。...STEP 2 点击日期列标题右侧的展开按钮,选择扩展到新行。STEP 3 调整日期列的数据类型后,如下:拓展List.Numbers与List.Dates类似,能实现数字区间的展开。

    4400

    1.7 PowerBI数据准备-筛选最新月份的数据

    加入 PowerBI自己学 知识星球 可以:下载源文件,边学边练;遇到问题,提问交流,有问必答。数据获取后,通常会先筛选,只保留有效数据,提高后面的处理效率。...静态筛选很简单,从列标题点击筛选就好了;动态筛选往往更具实用性,比如客户对应的岗位每个月都会有变化,但报告只需要给用户用最新月份的岗位查看数据。...操作步骤STEP 1 把带历史年月(格式是数字,如202211)的数据导入PowerQuery,将年月列的类型改为整数。STEP 2 增加一个筛选步骤,点击年月列标题上的筛选按钮,选择任意一个值。...STEP 3 从筛选步骤的公式栏把刚刚所选的具体年月数字改为List.Max(#"Changed Type"[年月])。List.Max是取最大值的函数,取得是上一步骤中的年月字段的最大值。

    5310

    2.4 数据清洗12招

    PQ就好像变形金刚(英文版PowerBI的转换选项卡恰好也叫“Transform”),在转换选项卡中,集成了各类变形功能。...使用频率最高的一般有12个小招: 首行作标题、修改数据类型、删除(重复、错误、空项目)、拆分、提取、合并、替换、填充、移动、排序、格式、逆透视。 ? ?...1 首行作标题 我们把数据获取到查询器中往往首行的标题是未识别的状态,只需单击将第一行作为标题。 ?...3 删除重复、错误、空项目 这个功能与Excel非常相似,当我们想剔除表中的重复行、错误项目时,右键单击列,删除重复项或删除错误。如果我们想要删除空白的项目,点击筛选箭头,删除空选项。 ?...感谢您关注公众号PowerBI大师

    2.5K30

    3.11 PowerBI报告可视化-矩阵:使用计算组改变列小计的计算逻辑及条件格式设置

    加入 PowerBI自己学 知识星球 可以:下载源文件,边学边练;遇到问题,提问交流,有问必答。...Excel是单元格级别的报表,而PowerBI是列级别的报表(本质是透视表),所以有时候在Excel中可以展示的报表在PowerBI中比较难展示。...推荐使用计算组,把汇总列放在列小计上,相对简单还可以复用给别的度量值,而且支持给小计列设置不同的条件格式。举例按上图做一个矩阵,小计列带不同的条件格式。...,点击视觉对象右上角的分叉向下钻取按钮,将年月展开显示。STEP 5 在可视化窗格的格式下,列标题的标题对齐方式选择居中;打开列小计开关,将小计标签改为“.”...;用鼠标拖动把年月下的“.”这一列的列宽调整到最小直至隐藏。

    6510

    如何用PowerBI自定义函数批量爬取财务报表

    近期,学习了马老师的商业智能财务分析(PowerBI)课程后,不免手痒,教学中的案例数据不过瘾,于是在PowerBI学友的启发下,自己找现实数据玩了起来。...由于资产负债表数据为二维表,我们需要用逆透视把它变成一维表(提升标题后 - 选中索引列 - 逆透视其他列),再删除掉值中的空值 ?...第二步,在资产负债表的“查询设置”的源中,将代码中 000333替换为 "&Text.From(Web)&" 即首行公式为 =Web.BrowserContents("http://quotes.money...5 进一步思考 刚刚Demo的测试,我们只选取了3家公司,一切都很完美,那如果将3500+家上市公司都加载进来,批量爬取将会发生什么? 很慢!...我们通过案例体验式地学会PowerQuery的特性和功能,但实际工作中对于大范围爬取网页数据的需求,建议尝试其他更专业的爬虫工具。

    3.2K12

    1.9 PowerBI数据准备-逆透视,将二维表或多维表转换为一维表

    加入 PowerBI自己学 知识星球 可以:下载源文件,边学边练;遇到问题,提问交流,有问必答。...一维表每一行都是描述一个事物的一次性产生的完整属性信息,便于存储数据和后期计算、汇总;二维表直观易读,便于展示数据,不利于后期计算、汇总。...PowerBI中获取数据后生成的表,一般使用一维表,方便建立表与表之间的关系、书写度量值、生成透视表或图表。因此,很多时候需要在PowerQuery中将二维的甚至更多维的数据源表转换为一维表。...STEP 2未选中的列变成了两列,一列属性,一列值,双击列标题改名后保存。图片举例2多维表转一维表,多层表头+多列维度。...图片STEP 4 转置后,点击表的左上角,将第一行作为列标题。STEP 5 按住Ctrl键选中维度列,然后点击菜单栏转换下的逆透视其他列。

    6710

    PowerBI 2018 5月更新 条件格式 钻取筛选 增量刷新 智能网抓

    支持增量刷新(预览) 增量刷新,是PowerBI中一个重要话题,从本次发布开始,Premium将正式开始支持增量刷新,好可惜Premium是一个收费且费用不菲的服务。...从样本添加列改进 这个功能让PowerBI实现网络数据抓取更加智能,由于是预览功能,所以需要打开预览。...之前在PowerBI中从WEB获取数据仅仅限于表格,不然要写很复杂的PQ代码,而这次更新为我们带来了智能识别HTML页面结构,使得我们可以更方便的获取更多的网络数据信息。...而且数据也就同时被抓取了,如下: 由于我们使用了年度票房2017,通常我们改变一下URL,就可以迅速得到其他年份的数据,我们将2017改为2018,则得到2018的票房数据,如下: 当然,可以在查询编辑里做原来可以做的所有的变换数据的事情了...(视频讲解中更详细的分析该功能的详细应用) 中国着色地图 此次更新非常让人惊喜的是,已经有中国的第三方合作伙伴开发自定义视觉对象并发布到微软PowerBI官方视觉对象库供中国习惯的伙伴使用。

    1.7K10

    PowerBI 大型报表架构设计 - 30页100个度量值1000个对象

    横向导航系统满足了长标题的报表名称 统一导航系统 二级导航系统应对大型复杂报表结构 纯 PowerBI 原生元素打造 精确到像素级别控制 这里可以延展一些问题让大家思考,为了设计高度精细的布局,你知道这些问题的答案吗...在 PowerBI 中,可以使用Ctrl+C, Ctrl+V的方式将PQ逻辑复制粘贴进新的PBI文件,这个功能使得数据准备的逻辑可以复用,是非常重要的。...此话题也将开设专题进行深入探讨。 权限控制 PowerBI 中全动态权限控制可通过RLS或更加灵活的机制实现,已经单开话题讨论。参考:PowerBI 企业级权限控制全动态终极解决方案。...在目前 PowerBI 没用给出官方高效维护方法的现状下,必须靠非常有效的人工管理,这就需要我们预先思考清楚如何管理以下元素: 业务基表 辅助基表 计算列 度量值 业务计算表 辅助计算表 关系 按列排序...另外,未来我们将更详尽的探讨在PBI现状下,上述所有内容的细化方法。

    3.9K10
    领券