比如进行数据分析时，我们需要将日数据转换为月数据，年数据等。在Pandas中，有几种基于日期对数据进行分组的方法。...然后使用重采样方法按月分组数据，并计算每个月的“sales”列的平均值。结果是一个新的DF，每个月有一行，还包含该月“sales”列的平均值。2. ...使用Grouperpandas的Grouper 函数可以与 groupby 方法一起使用，以根据不同的时间间隔（例如分钟、小时、天、周、月、季度或年）对数据进行分组。...通过与Pandas 中的 groupby 方法 一起使用，可以根据不同的时间间隔对时间序列数据进行分组和汇总。Grouper函数接受以下参数:key: 时间序列数据的列名。.../31；取YS时，显示的是1/1，但计算出的取值是一致的详细取值可参考官方文档closed: 间隔是否应该在右侧(右)、左侧(左)或两侧(两个)闭合。
最近忙成狗了，很少挤出时间来学习，大部分时间都在加班测需求，今天在测一个需求的时候，需要对比数据同步后的数据是否正确，因此需要用到json对比差异，这里使用deepdiff。...一般是用deepdiff进行对比的时候，常见的对比是对比单个的json对象，这个时候如果某个字段的结果有差异时，可以使用exclude_paths选项去指定要忽略的字段内容，可以看下面的案例进行学习：...那么如果数据量比较大的话，单条对比查询数据效率比较低，因此，肯呢个会调用接口进行批量查询，然后将数据转成[{}，{}，{}]的列表形式去进行对比，那么这个时候再使用exclude_paths就无法直接简单的排除某个字段了...从上图可以看出，此时对比列表元素的话，除非自己一个个去指定要排除哪个索引下的字段，不过这样当列表的数据比较多的时候，这样写起来就很不方便，代码可读性也很差，之前找到过一个用法，后来好久没用，有点忘了，今晚又去翻以前写过的代码记录...，终于又给我找到了，针对这种情况，可以使用exclude_regex_paths去实现： 时间有限，这里就不针对deepdiff去做过多详细的介绍了，感兴趣的小伙伴可自行查阅文档学习。
客户关系管理的关键是客户分群，通过客户分群，区分无价值客户和高价值客户，同时更好的了解客户的特征，使企业能够针对不同价值客户指定优化的个性化服务方案，实现精细化运营。客户分群是关键节点。...建模 LRFMC模型是根据实际场景基于RFM模型优化调整后得到的，是衡量客户价值和客户创造利益能力的重要工具和手段。...其中，R代表最近消费时间间隔，具体是用最后一次乘机时间至观察窗口末端时长来衡量；F表示消费频率，也就是观测窗口内的飞行次数；M体现消费金额，由于航空票价受到距离和舱位等级等多种因素影响，这里的舱位因素考虑舱位所对应的折扣系数平均值...综合起来，我们构建了LRFMC这5个指标，具体如下： L：LOAD_TIME - FFP_DATE（会员入会时间距观测窗口结束的月数） R：LAST_TO_END（客户最近一次乘坐公司距观测窗口结束的月数...客户群体特征分析与价值评估 基于聚类结果，我们绘制雷达图来对不同客户群体的特征进行可视化分析： 对应的雷达图如下： 从“客户群特征分析图”中，结合业务情况，我们对不同客户群体进行特征分析与价值评估：
Python Pandas 中级教程：时间序列数据处理 Pandas 是数据分析领域中最为流行的库之一，它提供了丰富的功能用于处理时间序列数据。...在实际项目中，对时间序列数据的处理涉及到各种操作，包括日期解析、重采样、滑动窗口等。本篇博客将深入介绍 Pandas 中对时间序列数据的处理技术，通过实例演示如何灵活应用这些功能。 1....例如，将每日数据转换为每月数据： # 将每日数据重采样为每月数据，计算每月的均值 monthly_data = df['column_name'].resample('M').mean() 6....移动窗口计算 使用滑动窗口计算可以平滑时间序列数据，例如计算移动平均值： # 计算五日移动平均 rolling_avg = df['column_name'].rolling(window=5).mean...时区处理 处理涉及到不同时区的时间序列数据： # 转换时区 df['date_column_utc'] = df['date_column'].dt.tz_localize('UTC') df['date_column_est
&日期函数的使用方法，重点介绍left/right/mid/text/datedif/weekday函数的使用方法。...2、RIGHT 基本用法：从右到左提取指定个数的字符串（跟LEFT函数相反），公式=RIGHT(字符串，字符串个数） 例如，我们想提取出每个客户的具体购买时间，这时候我们只需要提取购买时间列的后8位即可...例如，我们想提取出每个客户的购买日期（月/日），这时候我们可以从购买时间列中的第一个点号的后一位开始，提取3位就可以得到我们想要的结果，具体用法如下。...例如，我们想合并客户id、客户姓名、年龄这三列内容，我们看到底该如何操作。 结果如上，是不是很简单？ 二、日期函数 1、Datedif 基本用法：求指定日期区间间隔的年数/月数/日数。...例如，我们要计算客户购买日期分别属于星期几，可以使用weekday进行计算。
项目目标： 本篇将使用航空公司客户数据，结合LRFMC模型，采用 K-Means聚类算对客户进行分群，比较不同类别客户的客户价值，从而制定相应的营销策略。...如果用同样的方法应对所有与个业有业务往来的客户，必然不会获得成功。 众多的企业管理者虽然知道客户价值分析的重要性，但对如何进行客户价值分析却知之甚少。...如何全方位、多角度地考虑客户价值因素，进行有效的客户价值分析，这是摆在所有企业面前需要认真思索的一个问题。...具体处理方法如下 (1)丢弃票价为空的记录。 (2)丢弃票价为0、平均折扣率不为0、总飞行千米数大于0的记录。...(5)客户在观测窗口乘坐舱位对应的折扣系数的平均值C=平均折扣率（单位：无） C=AVG_DISCOUNT ‘’‘构建航空客户价值分析关键特征’’ #使用LRFMC模型 我们要拿到需要的属性。
投资机构或电商企业等积累的客户交易数据繁杂。需要根据用户的以往消费记录分析出不同用户群体的特征与价值，再针对不同群体提供不同的营销策略。...用户分析指标 根据美国数据库营销研究所Arthur Hughes的研究，客户数据库中有三个神奇的要素，这三个要素构成了数据分析最好的指标 R-最近一次消费(Recency) F-消费频率(Frequency...R、F、M指标，对用户进行标注 准备工作： 数据： 某电商企业客户近期购买的数据。...1 分析数据获取RFM R-求出最近一次投资时间距提数日天数 确定一个提现日，减去用户的最新投资日期 F-月均投资次数 总投资次数/总月数 M-月均投资金额 投资总金额/总月数 ?...通过和原数据处理获取RFM 3、通过训练模型得出用户类型 def user_classes(cdata, user_info): ''' # 模拟一条用户数据 1、获取当前时间表示为截止时间 2.计算出
我们以前讲解过如何计算合同的终止日期：计算合同的终止日期！...视频中用到的是EDATE函数，EDATE函数他返回的是指定日期之前或之后月数的日期，EDATE有两个参数:start_date和months。...start_date返回开始日期，months返回开始日期之前或之后的月份数。月份数为正数，则返回之后月数的日期；月份数为负数，则返回之前月数的日期。...EDATE函数使用也很简单，只要把合同的签订日期和合同期限代入EDATE函数的参数中，再减去1即可计算出来！ ?...操作步骤 上面虽然计算出了合同的终止日，但是公司员工多的话，可能看就很难看到了，所以今天我们加入IF函数以及合同到期提醒装置，减少日期海洋。
项目目标 借助航空公司客户数据，对客户进行分类 对不同的客户类别进行特征分析，比较不同类别客户的客户价值 对不同价值的客户类别提供个性化服务，制定相应的营销策略 了解客户价值分析 客户营销战略倡导者Jay...模型解读 由于航空票价受到运输距离，舱位等级等多种因素影响，同样消费金额的不同旅客对航空公司的价值是不同的，因此这个特征并不适用于航空公司的客户价值分析。...LRFMC模型： L——会员入会时间距观测窗口结束的月数 R——客户最后一次乘坐飞机距观测窗口结束的月数 F——客户在观测窗口内乘坐飞机的次数 M——客户在观测窗口内的总飞行里程 C——客户在观测窗口内乘坐的舱位对应折扣系数的平均值...kmeans寻找种子点的时候计算该类中所有样本的平均值，如果该类中具有较为明显的离群点，会造成种子点与期望偏差过大。...这个要理解Python 的内存机制才会比较清楚。
这里希望同学们加深对数据的理解，进行自己的分值设置，所以讲述过程中使用的是第二种，即提前制定好不同数值对应的分值。...因为每个客户和平均值对比后的R、F、M，只有0和1（0表示小于平均值，1表示大于平均值）两种结果，整体组合下来共有8个分组，是比较合理的一个情况。...我们来判断用户的每个分值是否大于平均值： Python中判断后返回的结果是True和False，对应着数值1和0，只要把这个布尔结果乘上1，True就变成了1，False变成了0，处理之后更加易读。...RFM经典的分层会按照R/F/M每一项指标是否高于平均值，把用户划分为8类，我们总结了一下，具体像下面表格这样： 由于传统的分类，部分名称有些拧巴，像大多数分类前都冠以“重要”，“潜力”和“深耕”到底有什么区别...频次深耕客户金额占比紧随其后，这部分客户的特征是近期有消费、消费频次低、消费金额高，和高消费唤回客户仅有购买时间上的不同，如何避免这部分客户向高消费唤回客户的流转是我们要思考的主要命题。
这里希望同学们加深对数据的理解，进行自己的分值设置，所以讲述过程中使用的是第二种，即提前制定好不同数值对应的分值。 R值根据行业经验，设置为30天一个跨度，区间左闭右开： ?...所以，我们通过判断每个客户的R、F、M值是否大于平均值，来简化分类结果。...因为每个客户和平均值对比后的R、F、M，只有0和1（0表示小于平均值，1表示大于平均值）两种结果，整体组合下来共有8个分组，是比较合理的一个情况。我们来判断用户的每个分值是否大于平均值： ?...至此，建模所需的所有数据已经准备就绪，剩下的就是客户分层了。 RFM经典的分层会按照R/F/M每一项指标是否高于平均值，把用户划分为8类，我们总结了一下，具体像下面表格这样： ?...频次深耕客户金额占比紧随其后，这部分客户的特征是近期有消费、消费频次低、消费金额高，和高消费唤回客户仅有购买时间上的不同，如何避免这部分客户向高消费唤回客户的流转是我们要思考的主要命题。
简介 利用pandas进行数据分析的过程，不仅仅是计算出结果那么简单，很多初学者喜欢在计算过程中创建一堆命名「随心所欲」的中间变量，一方面使得代码读起来费劲，另一方面越多的不必要的中间变量意味着越高的内存占用...本文就将带大家学习如何在pandas中化繁为简，利用query()和eval()来实现高效简洁的数据查询与运算。...图2 正常读入数据后，我们分别使用传统方法和query()来执行这样的组合条件查询，不同的条件之间用对应的and or或& |连接均可： ❝找出类型为「TV Show」且国家不含「美国」的「Kids'...TV」 ❞ 图3 通过比较可以发现在使用query()时我们在不需要重复书写数据框名称[字段名]这样的内容，字段名也直接可以当作变量使用，而且不同条件之间不需要用括号隔开，在条件繁杂的时候简化代码的效果更为明显...(@country_count) > 5") 图9 2.6 对Index与MultiIndex的支持 除了对常规字段进行条件筛选，query()还支持对数据框自身的index进行条件筛选，具体可分为三种情况
本文示例代码已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 利用pandas进行数据分析的过程，不仅仅是计算出结果那么简单...本文就将带大家学习如何在pandas中化繁为简，利用query()和eval()来实现高效简洁的数据查询与运算。 ?...图2 正常读入数据后，我们分别使用传统方法和query()来执行这样的组合条件查询，不同的条件之间用对应的and or或& |连接均可： 找出类型为TV Show且国家不含美国的Kids' TV...图3 通过比较可以发现在使用query()时我们在不需要重复书写数据框名称[字段名]这样的内容，字段名也直接可以当作变量使用，而且不同条件之间不需要用括号隔开，在条件繁杂的时候简化代码的效果更为明显...，我可以在很多数据分析场景中实现0中间变量，一直链式下去，延续上面的例子，当我们新增了这两列数据之后，接下来我们按顺序进行按月统计影片数量、字段重命名、新增当月数量在全部记录排名字段、排序，其中关键的是新增当月数量在全部记录排名字段
距平 下面便提出一个问题：为什么要费尽心思研究变量的距平而非变量的原始数据？若针对于温度这个变量而言，即为什么要使用温度距平（偏离平均值的值）而不非研究绝对温度的变化？...在这种情况下，整合了数据，使得不同地域的变量能够得以进行比较，以便反映一个区域内不同地方的变量分布形式。...xarray 通过使用Groupby 算法使这些类型的转换变得容易。下面给出了计算去除月份温度差异的海温月数据。...5年滑动平均 我们可以通过下图来理解时间窗是如何操作数据的 ?...da.rolling(time=5).mean() 具体操作如下图所示 ?
在这篇文章里，我将告诉你如何使用DATEADD和DATEDIFF函数来计算出在你的程序中可能你要用到的一些不同日期。 在使用本文中的例子之前，你必须注意以下的问题。...使用DATEDIFF和DATEADD函数来计算日期，和本来从当前日期转换到你需要的日期的考虑方法有点不同。你必须从时间间隔这个方面来考虑。...一个月的第一天 第一个例子，我将告诉你如何从当前日期去这个月的最后一天。请注意：这个例子以及这篇文章中的其他例子都将只使用DATEDIFF和DATEADD函数来计算我们想要的日期。...下一个函数是DATEADD，增加当前日期到“1900-01-01”的月数。通过增加预定义的日期“1900-01-01”和当前日期的月数，我们可以获得这个月的第一天。...假定你修改时间间隔的数量，或者使用不同的时间间隔来调用DATEADD函数，或者减去时间间隔而不是增加，那么通过这些小的调整你可以发现和多不同的日期。
答案是当我们对RFM进行了定义后，我们就可以根据RFM对客户或者会员进行价值分析了。...如下图的客户价值分类来看消费金额“M”在RFM模型中是出于支柱地位，当“R”，“F”，“M”都处于平均值以上的时候，此客户为重要价值客户，当“R”，“F”处于平均值以下，但是“M”处于平均值以上的时候，...你可以通过CRM或者BI工具计算出来每个客户的R，上次购买时间。F，购买次数。M，购买金额。如下图所示： ? 第二步，定义到R，F，M的度量范围。...每当客户交易一次的时候我们都会重新计算会员等级是否有变化，结合客户的R（最近购买时间）后，可将会员按照活跃、风险和流失的客户几个维度来查看不同级别会员的情况。...如发现高级别会员的流失比率比较大的时候，我们就要分析具体情况，采取措施来召回和挽留这些重要客户。 ?
Rosenblatt感知器 Rosenblatt感知器是一种最简单的感知器模型，即输出值为输入与对应权值相乘后取和再累加并加上偏置后通过符号函数的结果，即：Output = sgn(w0 * x0 +...训练时，使用有监督学习，当输出值与真实值不同时，对应的weight与该次输入数据与真实值和学习率的乘积相加，或可以描述为weight += input * (d - o) * n其中，input为输入值...，d为真实值，o为输出值，n为学习率 Python实现 Rosenblatt神经元的实现 通过Rosenblatt感知器的数学模型，可以很简单的使用numpy库实现感知机功能 import numpy...本次测试使用的是双月数据集，如下图所示： ?...，过程是首先使用random.uniform()生成一个半径范围内的随机半径，再生成一个正负半径内的随机x偏移量，通过勾股定理计算出y的偏移量，即可以生成一个落在单月形状内的随机点，再根据朝向生成这个点的绝对坐标使用
在这篇文 章里，我将告诉你如何使用DATEADD和DATEDIFF函数来计算出在你的程序中可能你要用到的一些不同日期。 在使用本文中的例子之前，你必须注意以下的问题。...一个月的第一天 第一个例子，我将告诉你如何从当前日期去这个月的最后一天。请注意：这个例子以及这篇文章中的其他例子都将只使用DATEDIFF和DATEADD函数来计算我们想要的日期。...下一个函数是DATEADD，增加当前日期到“1900-01-01”的月数。通过增加预定义的日期“1900-01-01”和当前日期的月数，我们可以获得这个月的第一天。...假定你修改时间间隔的数量，或者使用不同的时间间隔来调用DATEADD函数，或者减去时间间隔而不是增加，那么通过这些小的调整你可以发现和多不同的日期。 ...通过使用这个计算日期的时间间隔的数学方法，我发现为了显示两个日期之间间隔的有用历法是有价值的。注意，这只是计算出这些日期的一种方法。要牢记，还有很多方法 可以得到相同的计算结果。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
云直播
