首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Pandas使用DataFrame进行数据分析比赛进阶之路(二):日期数据处理:日期筛选、显示及统计数据

1、获取某年某月数据 data_train = pd.read_csv('data/train.csv') # 将数据类型转换为日期类型 data_train['date'] = pd.to_datetime...# 获取某个时期之前或之后数据 # 获取2014年以后数据 print(df.truncate(before='2014').head()) # 获取2013-11之前数据 print(df.truncate...,但不统计 # 按月显示,但不统计 df_period_M = df.to_period('M').head() print(df_period_M) # 季度显示,但不统计 df_period_Q...,并且统计 # 年统计并显示 print(df.resample('AS').sum().to_period('A')) # 季度统计并显示 print(df.resample('Q').sum()...2010-10-18/2010-10-24 147 5361 10847 2010-10-25/2010-10-31 196 5379 10940 ---- 附录:日期类型截图

4.7K10

使用R或者Python编程语言完成Excel基础操作

数据排序和筛选:掌握如何对数据进行排序和筛选,以查找和组织信息。 数据透视表:学习如何创建和使用数据透视表对数据进行多维度分析。...宏和VBA:对于更高级用户,可以学习如何录制宏和编写VBA代码来自动化重复性任务。 函数学习:逐渐学习更多内置函数,如逻辑函数、文本函数、统计函数等。...高级查询 使用高级筛选:在“数据”选项卡中选择“高级”,根据条件进行数据筛选。 使用查询:在“数据”选项卡中使用“从表/区域获取数据”进行更复杂查询。 8....合并文本:使用CONCATENATE函数或“&”运算符将多个单元格文本合并为一个。 宏和VBA编程 录制宏:自动记录一系列操作,以便重复执行。 VBA编程:编写VBA代码实现自动化和定制化功能。...打印预览:查看打印效果并进行调整。 模板 使用模板:快速创建具有预定义格式和功能表格。 高级筛选 自定义筛选条件:设置复杂筛选条件,如“大于”、“小于”、“包含”等。

12410
您找到你想要的搜索结果了吗?
是的
没有找到

VBA代码应用示例:基于时间筛选数据

标签:VBA筛选数据时,通常是筛选满足特定条件或者介于两个条件之间信息,例如基于多个条件筛选或者筛选两个日期之间数据。...然而,总是会遇到一些特殊情形,例如,单元格中包含有日期和时间,如果单元格中时间大于指定时间,就获取该单元格所在行数据。这就是本文要解决问题。 这里使用VBA代码,但使用了辅助列。...也就是说,代码生成一个辅助列,来判断其对应单元格中时间是否大于指定时间,如果是则在辅助列单元格中输入1,否则为0。然后,基于该列应用筛选,将筛选数据复制到指定位置。...如果指定时间为18时,将判断含有日期和时间单元格(在列D)中时间是否大于18时公式如下: =IF(HOUR(D2)>=18,1,0) 在VBA中,将公式放置在引号中:“=IF(HOUR(D2)>=...完整代码如下: Sub FilterHelperCol() Dim lr As Long Dim rng As Range Dim sh As Worksheet Set

1.2K30

Excel应用实践03:使用Excel进行个人计划执行记录与统计分析

图4 在图4中,单元格C4是统计起始日期,命名为startDate;单元格D4是统计结束日期,命名为endDate,这是我们在这个工作表中唯一要输入两个数值。...输入日期后,单击其右侧“更新”按钮,自动统计这两个日期之间相应数据。该按钮关联了下文所讲用于实现自动统计VBA程序。...单元格区域C7:D21是输出区域,通过VBA程序自动生成各分类上花费时间和做次数。 单元格区域B7:B21除作为上文介绍分类下拉列表项来源外,还设置了条件格式,如下图5所示。...当统计次数不符合要求时,相应分类字体会显示红色。 ? 图5 在VBA代码中,使用了高级筛选功能。...工作表“个人计划执行记录”单元格区域J1:K2是条件区域,关联了工作表“计划执行统计”中输入起始日期(startDate)和结束日期(endDate)。

1.8K20

那我们就要谈谈他不足之处。

普通透视表能提供常用度量值快速显示。 ? ? 3. 使用VBA不同 Power Pivot不能使用VBA进行创建,只能利用VBA很小功能。 普通透视表则可以利用VBA进行灵活处理。 4....打印功能不同 在Power Pivot界面不能直接打印筛选数据 在表格中则可以直接进行打印 7. 窗口冻结不同 在Power Pivot界面只能冻结首行,如果冻结列的话则会自动移到最左边。...在Excel中你可以冻结行和列,并且不会自动移动到最左边。 8. 报表筛选不同 在Power Pivot透视表中,无法使用报表筛选页。 ? 普通透视表则可以使用报表筛选页生成筛选工作表。 ?...分组功能使用不同 Power Pivot透视表中,只有日期格式能实现自动分组功能,数字格式无法生成。 ? 普通透视表中,数字格式则可以实现自动分组功能。 ?...如果觉得有帮助,那麻烦您进行转发,让更多的人能够提高自身工作效率。

6K40

数据分析必备技能:数据透视表使用教程

本文首先手把手教你如何在 Excel 中手动构建一个基本数据透视表,最后用 VBA 展示如何自动化这一过程。...将“平”拖放至“行”列表中“球队”上方;表示在“平局”维度上,嵌套(nesting)归纳了“球队”维度 将“更新日期”拖放至“筛选器”列表中;表示可以根据更新日期筛选显示表格数据 ?...6 成果 至此,我们得到了一个基于源数据、可以自由组合统计维度、可以用多种方式筛选展示数据透视表。 可以在 Ribbon “设计”菜单中选择预设样式等,本文展开论述。 ?...以上就是创建数据透视表基本过程。 7 自动化创建 基本数据透视表创建和调整并不复杂,但如果有很多类似的重复性工作的话,使用一些简单 VBA自动化这一过程,将极大提升工作效率。...本例中使用 VBA 脚本完成与上述例子一样任务,对于 VBA 语言仅做简单注释,想更多了解可以自行查阅官方文档等 1.一键生成 此处我们放置一个按钮在源数据所在数据表,用于每次点击自动生成一个数据透视表

4.6K20

为什么加班总是你?

为什么加班总是你?”其中一个原因就是原始表格规范。 规范表格典型特点 这个原始表格可能是你自己做出来,可能是别人给你,也可能是从软件里面导出来。...为什么会崩溃? 因为这是一张规范原始表格! 仔细观察一下,首先日期就不规范,既有日期格式也有文本格式日期。...(8)相同商品二级属性分别放在不同列不便于日后进行筛选 所以,财务经理给会计布置一连串财务统计以及分析任务,没有几个小时是做不下来。...此时会计是觉得这个领导是故意刁难人还是默默加班? 因此规范原始表格就是“为什么加班总是你?”一个原因,规范表格给你工作效率造成了很大阻碍,那毫无疑问加班肯定总是你。...最后,excel 学习最高端就是来编写VBA 代码。通过VBA 代码编写,可以让工作效率得到飞速提升,但是VBA 学习要付出一定时间和精力。

61020

2-SQL语言中函数

# 日期函数 # NOW() 返回当前系统日期+时间 SELECT NOW(); # CURDATE() 返回当前系统日期包含时间 SELECT CURDATE(); # CURTIME()...返回当前系统时间,返回日期 SELECT CURTIME(); # 获取指定部分日,月,年等信息(小时,分钟,秒) SELECT YEAR(NOW()); SELECT MONTH('1998-..., 可以直接利用对应列筛选,利用where语句筛选,位置在group_by字句前面 分组后筛选:分组后筛选是利用已经重新分配组内信息进行筛选,这些信息直接存储于数据库中。...分组后筛选:分组后筛选是利用已经重新分配组内信息进行筛选, 这些信息直接存储于数据库中。...'%A%' GROUP BY department_id; # 查询哪个部门员工个数大于2(添加分组后筛选) /* 这里不是利用employees表中原数据进行筛选, 而是根据筛选结果进行二次筛选

2.8K10

手把手教你玩转 Excel 数据透视表

使用数据透视表可以按照数据表格不同字段从多个角度进行透视,并建立交叉表格,用以查看数据表格不同层面的汇总信息、分析结果以及摘要数据。...为什么使用透视表 简单、高效、灵活、出错率低。 3.   ...什么时候用数据透视表 找出同类数据在不同时期某种特定关系 以简洁友好方式,查看大量表格数据 对数值数据快速分类汇总,分类和子类查看数据信息 建立交叉表格,将行移动到列或将列移动到行,以查看数据源不同汇总...而如果对数据源进行了删除或新增,则需要手动去更改数据源。 自动刷新可以在数据透视表选项面板中选择打开文件时刷新数据或使用VBA自动刷新数据表。 5.   ...使用透视表,只需要简单几步,即可完成报告生成,再也不需要苦哈哈手动去统计数据,之后再制作报表了。首先,我们基于销售历史数据生成一张透视表,并按照销售日期等维度制作一张基础透视表。

2.4K20

Excel Lambda函数打包复杂公式及业务逻辑

第一个跨越是溢出函数,一个函数可以突破单元格限制,生成一个区域,如下面的例子: FILTER函数可以筛选条件直接生成一个表,UNIQUE可以去除重复值。...近期LET、LAMBDA函数是第二个重大跨越:可以在编程(无需VBA情况下,将复杂计算过程或者业务逻辑打包成一个自定义函数,进行重复使用。...以LAMBDA函数举两个零售业小例子,请看视频: 视频中生成了两个中文自定义函数,一个叫业绩状态,填入业绩和销售目标自动打对勾或者叉表示业绩是否完成;一个叫货龄(即货物到现在上市了多久),自动按照该商品上市日期和今天差值进行分组计算...( TRUE (), TODAY () - 上市日期 <= 90, "3个月以下", TODAY () - 上市日期<= 180, "4-6个月", TODAY () - 上市日期...后期将会介绍更多LAMBDA函数打包零售业务逻辑案例,通过函数实现类似编程自动化功能,效率提升。

1.1K20

个人永久性免费-Excel催化剂功能第19波-Excel与Sqlserver零门槛交互-查询篇

条件查询语句,实现无需会写SQL一样可查询数据库 Excel自动筛选一般因数据类型分为三大类: 数字类 一般会用到大于、小于、不等于等条件对数据进行区间查询,要写两个并列条件,请使用自定义筛选 数据类筛选...示例:一定范围内数值筛选方式,也可单向筛选一个大于或小于 一定范围内数值筛选方式 文本类 可用开头、结尾、包含、包含等方式来筛选文本,要写两个并列条件,请使用自定义筛选 文本类筛选...Excel对日期有智能识别,有明天、今天、本月、上月等选择和筛选器下方自动日期归类为年、月、日结构,Excel催化剂未对这些智能部分进行转换实现,请同样地使用大于、小于、介于等常规数字操作来筛选日期...日期筛选 示例:筛选2007年11月数据,注意前方大于等于和小于日期表示方式 日期筛选示例 通过Excel表自动筛选功能,把所需数据筛选出来 多个筛选条件下,数据为且关系,可能出现无数据情况...若日期筛选条件只使用单方向大于某一天日期,后续若想得到新数据,仅需刷新一下智能表,无需重复之前所有操作 image.png 总结 让Excel用户可以轻松操作数据库,拿到所需数据进行其他分析需求

2.4K20

用 DAX 快速构建一个日期

为什么必须用日期表 作为初学者一个问题就是为什么必须用日期表,可以直接用交易数据中日期吗? 答案是:不可以。 最直接原因是:交易中日期可能是残缺。例如:某个日期是没有交易。...而做分析时候,我们往往需要使用却不是日期级别的时间跨度,而是用诸如: 年度看销售额趋势 按月份对比前后两年销售额差异 年度至今来比对当前目标完成度与年度总目标的差异 可见: 分析时所使用日期区间跨度都是大于单个日期...更精确地说,对于某个日期,如:yyyy-MM-dd,记作 D1,其日期区间跨度为 1 日。而常用日期区间跨度都会大于 1 日。...日期设计学用途是: 当希望从某段日期区间跨度去筛选交易业务数据时,都可以从日期表作为出发点,由于日期表如上描述设计,它必然满足: 一定可以从日期表中找到所需要日期区间来筛选业务数据。...构建日期注意事项 前面讲过从日期维度筛选数据时,常常不是从日期级别进行,而是从更高时间维度进行,如:年季月日,考虑到中文本地化以及排序问题,最佳实践如下: 分两步构建日期表 先构建一个基础日期

2.5K20

117.精读《Tableau 探索式模型》

一个好 BI 系统识别到日期字段后,应该将拿到日期字段进行归类,比如判断日期字段粒度到天,则自动生成一个日期层系字段,自动聚合到年,并允许用户随意切换: 如果数据集字段值精确到月,则层系只能最多展开到月...无论哪种下钻方式,都能看到每个 BU 日期销量明细,但 BU -> 日期 能看到每个 BU 日期聚合总销量,而 日期 -> BU 能看到不同日期 BU 聚合总销量,前者更易对比出 BU 之间差异...但其实除了这个通用功能之外,Tableau 还支持更强大图表交互功能,即点击或圈选图表后,可以对选中点(字段值)进行保留或排除: 当我们选择排除这几个点时,会自动生成一份对维度字段筛选条件排除掉选中日期...无论是行列中对维度下钻,还是通过标记对维度进行了拆解,筛选都是对 字段层系 生效: 如上图所示,对下钻后字段进行筛选,那么筛选条件也会自动构造出临时字段层系,并对这个临时层系进行筛选。...**由于最终勾选操作落地在点上,而不是区间上(连续值也不适合进行圈选),所以默认对维度进行筛选是最准确理解。

2.4K20

如何使用Excel创建一个物品采购表

设置列标题:在第一行设置列标题,常见列标题包括“序号”、“物品名称”、“规格型号”、“单位”、“数量”、“单价”、“总价”、“供应商”、“采购日期”等。...数据校验:可以使用数据校验功能限制某些列输入范围,如“数量”列只允许输入正整数。第三部分:数据分析与管理排序与筛选:可以使用排序和筛选功能对物品进行分类管理,如按照采购日期或供应商进行排序。...汇总统计:在表格底部或另一个工作表中,可以使用公式对采购总数量和总金额进行汇总统计。图表分析:可以创建图表,如柱状图或饼图,对采购数据进行可视化分析。...第四部分:高级功能条件格式:使用条件格式功能可以对满足特定条件单元格进行突出显示,如将采购金额超过预算单元格标记为红色。...宏和VBA:对于复杂采购管理需求,可以使用宏和VBA编程来自动化一些操作,如自动填充序号、自动生成采购报告。第五部分:维护与更新定期更新:定期更新物品采购表,确保数据准确性和及时性。

10110

类比MySQL——学习tableau

——日期筛选器(实际就是维度筛选器)  2)上下文筛选器(类似于mysql中and) 3)条件筛选器  4)tableau顶部筛选器(类似于mysql中limit) 5)tableau通配符筛选器...2)选择数据库、数据表 3)不同数据源进行表连接(一个来自mysql表,一个来自excel表) 将mysql中dept表,和excelemp表进行表连接。 连接方式有:内连接、左连接、右连接。...,可以选择平均值范围大小 ③ 基本筛选器——日期筛选器(实际就是维度筛选器) Ⅰ 直接将这个日期字段拖动到“筛选器”中,再点击季度这个字段 Ⅱ 当出现如下界面,勾选我们想要第2...Ⅲ 最终效果如下 ② 拆分字段(自动拆分与自定义拆分) Ⅰ 自动按照同一个分隔符,进行拆分 Ⅱ 自定义拆分 Ⅲ 当出现如下界面时,填入分隔符,保留2列 Ⅳ 最终效果如下...① 先展示出所有客户,在不同年份购买订单数据 ② 只选择2016年购买过客户:将“年(订单日期)”拖动到筛选器中,进行选择过滤 ③ 当出现如下界面,勾选2016年 ④

2.4K20

如何在矩阵行上显示“其他”【3】切片器动态筛选猫腻

排名 RANKX是迭代函数,会将行上下文自动转为筛选上下文,因此需要将除了年度以外列都ALL掉,这样才能保证在每个年度内进行RANKX排序。...子类别表2 = SUMMARIZE('data',data[子类别],'日期表'[年度]) 5.将每年排序值大于10rankx标记为11 其实这一步,如果想简单一点,可以和第3步合并到一起,用一个变量返回值来实现...但是,列排序并不考虑切片器特殊性,它考虑是全局性,因为一旦切片器进行了多选或者选,那么就会出现桌子不知道是9还是7情况,所以干脆就不让你设置了。...同样,按照其他进行排序,也是会得到同样结果: 事情好像无法往下进行了。 但是铁人王进喜有句名言:“有条件要上,没有条件,创造条件也要上。” 我们再重新审视一下这个列排序错误。...1.不同年份子类别名称自然是相同 2.不同年份排序数字一般也是不同 对于第二条,100%没有办法进行操作,必然是不同

2.5K20

在MySQL中使用VARCHAR字段进行日期筛选

在这篇文章中,我将为你解析如何在MySQL数据库中,对VARCHAR类型日期字段进行筛选。这是一个在数据库设计中经常遇到问题,尤其是当日期被保存为字符串格式时。...你是否也在搜索“MySQL VARCHAR日期筛选”、“如何在MySQL中筛选字符串日期”等关键词?不用再找了,这里有你想要答案! 引言 在数据库设计中,选择合适字段类型非常重要。...为什么选择VARCHAR存储日期和时间 在某些情况下,开发者可能会选择VARCHAR来存储日期和时间: 兼容性问题:旧系统可能使用字符串来存储日期。...正确筛选VARCHAR日期字段方法 ️ 为了正确筛选VARCHAR日期字段,我们可以使用MySQL STR_TO_DATE 函数: -- 考虑日期和时间 SELECT * FROM your_table_name...Y %H:%i:%s') > STR_TO_DATE('13-09-2023 09:32:14', '%d-%m-%Y %H:%i:%s'); 这样,即使字段是VARCHAR类型,我们也可以确保正确地日期和时间筛选数据

11610

类比MySQL,学习Tableau

Ⅳ 当出现如下界面后,可以选择平均值范围大小 ? ③ 基本筛选器——日期筛选器(实际就是维度筛选器) ? Ⅰ 直接将这个日期字段拖动到“筛选器”中,再点击季度这个字段 ?...④ 当出现如下界面时,对“条件筛选器”使用公式,筛选出销售总额大于1000000元并且利润大于300000元子类。 ?...② 使用“通配符”筛选器,找出以“罗技”打头产品。 ? ③ 再筛选销售额大于5000产品 ? ④ 最终效果如下 ?...② 拆分字段(自动拆分与自定义拆分) Ⅰ 自动按照同一个分隔符,进行拆分 ? Ⅱ 自定义拆分 ? Ⅲ 当出现如下界面时,填入分隔符,保留2列 ? Ⅳ 最终效果如下 ?...② 只选择2016年购买过客户:将“年(订单日期)”拖动到筛选器中,进行选择过滤 ? ③ 当出现如下界面,勾选2016年 ? ④ 完成如下步骤 ? ⑤ 完成如下步骤 ?

2.2K10

Power Query 真经 - 第 7 章 - 常用数据转换

”,就可以自动适配增加日期数据。)...对于文本类型,会看到【文本筛选器】,它包含【等于】、【开头为】 、【结尾为】 、【包含】等过滤器,以及其中每一种” 版本。 对于数字数据类型,菜单变成【数字筛选器】,并显示以下选项。...使用【介于】筛选器将允许用户对开始日期和结束日期范围进行硬编码。 但是在使用上下文敏感日期筛选器】时,最棘手部分是理解 “当前”、“过去” 和 “接下来” 实际含义。...筛选 “Date” 列,【日期筛选器】【且】。 如图 7-26 所示,设置筛选器。 图 7-26 筛选出 2021 年内日期 【注意】 或者,也可以添加一个新列,提取年份,然后筛选到特定年份。...然后,日期对数据进行升序排序,但将其作为 “State” 一个子排序。换句话说,这些排序需要相互叠加,而不是相互取代。 做到这一点步骤如下所示。

7.2K31
领券