分析中第3点在hive sql系列（三）中计算连续日活中也用到了日期差值，参考链接：
对于同比，环比的数据对比在人力资源的数据分析中，一般在人员流动，人员离职还有人效数据分析中出现的比较多。特别是在人员流动的数据分析中，因为人员流动的数据分析主要是通过对历史数据的分析，来预判明年人员入离职的时间，从而提前为招聘培训做好准备，所以在流动模块就需要来进行数据的对比。
然后，用登陆日期的“天”和“每个月登陆顺序”的差值来做标记（如下图）。这样就可以知道，当登陆日期连续时，差值就是相同的，代表这些天用户是连续登陆。
我们展示了如何将一个诺贝尔经济学奖获奖理论应用于股票市场，并使用简单的Python编程解决由此产生的优化问题。
本文主要是介绍基于逻辑回归算法的稳定度评分模型实现流程，所选案例也详细展示了模型构建的整个流程及处理方法。
窗口函数是数据库查询中的一个经典场景，在解决某些特定问题时甚至是必须的。个人认为，在单纯的数据库查询语句层面【即不考虑DML、SQL调优、索引等进阶】，窗口函数可看作是考察求职者SQL功底的一个重要方面。
五一以迅雷不及掩耳盗铃儿响叮当仁不让之势结束，这不马上又周末了，我们又可以愉快的学习啦，本次节后第一篇来自小小明大哥主笔。
（2）用户会有分数流水，每个月要做一次分数统计，对不同分数等级的会员做不同业务处理；
近两年，Excel函数我认为经历了跨越式发展。第一个跨越是溢出函数，一个函数可以突破单元格的限制，生成一个区域，如下面的例子：
在风控建模中IV(信息价值)和WOE(证据权重)分别是变量筛选和变量转换中不可缺少的部分。
又到周末了，东哥赠送5本机器学习的书《机器学习线性代数基础 Python语言描述》，内容非常赞，推荐入手。老样子，免费包邮送出去5本，参与方式见文末~
在有些时候，我们需要统计连续登录N天或以上用户，这里采用python通过分组排序、分组计数等步骤实现该功能，具体如下：
都说“金九银十”，马上十月份即将结束，相信还有相当多的小伙伴没找到合适的工作。在笔试过程中，总会出现那么一两道“有趣”的SQL题，来检测应聘者的一个逻辑思维，这对于初入职场的“小白”也是非常不友好。不用担心，本篇博客，博主整理了几道在面试中高频出现的“SQL”笔试题，助你在接下来的面试中一往无前，势如破竹!
1.什么是线性方程？ 从数学上讲我们有一元线性方程和多元线性方程，如下： y = aX + b y = b0 + b1X1 + b2X2 + b3X3 + ... + bnXn + e 2.什么是回归？ 回归的目的是预测数值型的目标值。最直接的办法是依据输入写出一个目标值的计算公式。假如你想预测小何先生一个月的存款，可能会这么计算： 总工资 = a* 五险一金和公积金 + b*房租和水电费 + c*日常消费 + d*存款 这就是所谓的回归方程（regression equation），其中的a,b
本文介绍了如何使用PIG和Jython实现统计某段时间内数据表中多个进程的指标变化量，并使用PIG的UDF功能实现自定义函数的扩展。通过PIG的5个步骤，即加载数据、过滤数据、分组数据、应用UDF函数、将结果输出到文件，可以完成数据计算和汇总。
某线上学习平台设置学员线上学习阶梯，新学员购买50节课为一个学习阶段，学习完想要进入下个阶段必须再次购买，即续费（假设所有学员只能续费一次）并且每个学员可选择不同老师进行学习。
重复测量资料在临床数据中非常普遍，常用重复测量的方差分析进行统计分析，但是经常面临的问题有：
请使用sql将购买记录表中的信息，提取为下表（复购分析表）的格式。并用一条sql语句写出。
有一段时间没来写博了，一直忙我司申请评分卡、催收评分卡的上线工作，那么我们的评分卡上线后，如何对评分卡的效果进行有效监测，监测哪些指标，监测的指标阈值达到多少我们需要对现有评分卡进行调整更新？这是我们
两个数的和。给一个数组和目标 target，求数组中两个数的和为 target 的数的索引。
without 不包含标签，与jvm_memory_used_bytes 等价
Power BI的自定义图表KPI Indicator可以满足多种类型的KPI表达需求。
这三个点虽然平时用得少，但在面试中却常被问到。值得一提的是，很多面试官对问题竟然也是一知半解。。
数据是会骗人的，尤其是平均数据（真实世界会有用户每个月下单2.5次吗？很可能是两个分别下单1次和4次的客户而已），一个中等的平均的用户画像其实完全是用数据创造出来的虚幻的形象。而一个漂亮的平均数所创造出来的这种虚幻景象，往往会给我们的决策造成误导。但是事实上，数据并不会说谎，只是分析数据的人没有做到精准分析而导致对数据呈现的错误解读！因此，Cohort Analysis的分析方法应运而生。
1、months_between(date1,date2) 返回两个日期之间的月份的差值 (1)、如果两个日期月份内天数相同，或者都是某个月的最后一天，返回一个整数。否则,返回数值带小数 selec
由于气象上经常研究长期气候变化，这些数据动辄上十年，上百年的再分析数据也不少，如何提取这些时间序列，如何生成时间序列，便成为一个问题，之前看到摸鱼大佬作气候研究时使用xarray花式索引提取数据将我震的五体投地，于是也学习了一下时间序列的处理方法与经验。这里分为三部分，一是如何生成时间序列；二是使用xarray提取数据集里的时间序列；三是如何在绘图中使用定制化时间的显示方式。本章节是第一块的内容。
摘要：本篇文章是"Python股市数据分析"两部曲中的第一部分，主要介绍金融数据分析的背景以及移动均线等方面的内容。 本篇文章是"Python股市数据分析"两部曲中的第一部分，内容基于我在犹他州立大学MATH 3900 (Data Mining)课程上的一次讲座。在这些文章中，我将介绍一些关于金融数据分析的基础知识，例如，使用pandas获取雅虎财经上的数据，股票数据可视化，移动均线，开发一种均线交叉策略，回溯检验以及基准测试。第二篇文章会介绍一些实践中可能出现的问题，而本篇文章着重讨论移动平均线。 注意：
本文基于 CPV 模型, 对房地产信贷风险进行了度量与预测。我们被客户要求撰写关于CPV模型的研究报告。结果表明, 该模型在度量和预测房地产信贷违约率方面具有较好的效果。
本篇文章是”Python股市数据分析”两部曲中的第一部分，内容基于我在犹他州立大学MATH 3900 (Data Mining)课程上的一次讲座。在这些文章中，我将介绍一些关于金融数据分析的基础知识，例如，使用pandas获取雅虎财经上的数据，股票数据可视化，移动均线，开发一种均线交叉策略，回溯检验以及基准测试。第二篇文章会介绍一些实践中可能出现的问题，而本篇文章着重讨论移动平均线。 注意：本篇文章所涉及的看法、意见等一般性信息仅为作者个人观点。本文的任何内容都不应被视为金融投资方面的建议。此外，在此提供的
作者：dcguo 使用 sql 做数仓开发有一段时间了，现做一下梳理复盘，主要内容包括 sql 语法、特性、函数、优化、特殊业务表实现等。 mysql 数据结构 常用 innodb 存储为 B+ 树 特点 多路平衡树，m 个子树中间节点就包含 m 个元素，一个中间节点是一个 page(磁盘页) 默认 16 kb； 子节点保存了全部得元素，父节点得元素是子节点的最大或者最小元素，而且依然是有序得； 节点元素有序，叶子节点双向有序，便于排序和范围查询。 优势 平衡查找树，logn 级别 crud； 单一节点比二
本篇参考： https://help.salesforce.com/s/articleView?id=sf.reports_summary_functions_about.htm&type=5 ht
关于宏观经济还有最后几点需要我们去了解的,其实感觉宏观经济中的有些东西是在高中政治时就讲过的,这里也只不过细分了一些。
对于分类模型，在建立好模型后，我们想对模型进行评价，常见的指标有混淆矩阵、KS曲线、ROC曲线、AUC面积等。也可以自己定义函数，把模型结果分割成n(100)份，计算top1的准确率、覆盖率。
最近在处理数据的时候遇到一个需求，核心就是求取最大连续行为天数。类似需求在去年笔者刚接触pandas的时候也做过《利用Python统计连续登录N天或以上用户》，这里我们可以用同样的方法进行实现。
原文作者：AARSHAY JAIN 36大数据翻译，http://www.36dsj.com/archives/43811 时间序列（简称TS）被认为是分析领域比较少人知道的技能。（我也是几天前才知道它）。但是你一定知道最近的小型编程马拉松就是基于时间序列发展起来的，我参加了这项活动去学习了解决时间序列问题的基本步骤，在这儿我要分享给大家。这绝对能帮助你在编程马拉松中获得一个合适的模型。 文章之前，我极力推荐大家阅读《基于R语言的时间序列建模完整教程》A Complete Tutorial on Ti
作者：武桐辛 本文长度1888字 ，建议阅读4分钟。 今天iCDO原创团队作者武桐辛从全新视角同期群分析方法切入，实现分析和辅助产品决策，从而迎合用户多元化需求和创新玩法。 同期群分析介绍 App应用的快速发展，不仅体现在现阶段App数量几何倍数的增长上，更是体现在各自App功能上的不断推陈出新，不断细分用户群和业务模块，不断丰富自身的产品线上。同时，产品版本迭代的周期也逐渐加快，很多App的发版周期差不多一个月一个大版本，在大版本期间也会穿插一些小版本，而每个版本我们都会做一些新的尝试和改变，来迎合现阶段
控制大脑自发活动中的动态模式的机制尚不清楚。在这里，我们提供的证据表明，在超低频率范围内（<0.01-0.1Hz）的皮层动力学需要完整的皮层-皮层下通信。利用静息态功能磁共振成像（fMRI），我们确定了动态功能状态（DFSs），在超低频率下同步的短暂但周期性的静止区域簇。我们观察到，皮层簇的变化与皮层下簇的变化在时间上相一致，皮层区域与边缘区域（海马体/杏仁核）或皮层下核（丘脑/基底神经节）灵活同步。中风引起的局灶性病变，特别是那些基底神经节/丘脑和皮质之间的白质连接，引起DFSs之间的时间分数、逗留时间和转换的异常，导致异常网络整合的偏向。卒中后2周观察到的动态异常会及时恢复，并有助于解释神经功能损伤和长期预后。
时间序列（或称动态数列）是指将同一统计指标的数值按其发生的时间先后顺序排列而成的数列。时间序列分析的主要目的是根据已有的历史数据对未来进行预测。本文我们会分享如何用历史股票数据进行基本的时间序列分析（以下简称时序分析）。首先我们会创建一个静态预测模型，检测模型的效度，然后分享一些用于时序分析的重要工具。
如下图所示，样本显著性的计算是在试验结尾部分的重要步骤，决定了试验是否有效：
我们在使用pandas分析处理时间序列数据时，经常需要对原始时间粒度下的数据，按照不同的时间粒度进行分组聚合运算，譬如基于每个交易日的股票收盘价，计算每个月的最低和最高收盘价。
IEEE Spectrum 于9月6日发布了2019年最受欢迎的编程语言排名。下面让我们来看下这份新鲜出炉的排名名单Top10吧。
窗口函数是数据库查询中的一个经典场景，在解决某些特定问题时甚至是必须的。个人认为，在单纯的数据库查询语句层面【即不考虑 DML、SQL 调优、索引等进阶】，窗口函数可看作是考察求职者 SQL 功底的一个重要方面。
AB试验（二）统计基础 随机变量 均值类指标：如用户的平均使用时⻓、平均购买金额、平均购买频率等 概率类指标：如用户点击的概率(点击率)、转化的概率(转化率)、购买的概率 (购买率)等 经验结论：在数
记得刚工作的时候，用的第一个模型就是逻辑回归。虽然从大二(大一暑假参加系里建模培训，感谢知识渊博的老师把我带入模型的多彩世界!)就参加了全国大学生数学建模比赛，直到研究生一直在参加数学建模，也获了大大小小一些奖。
我们在日常数据相关的工作中，常常需要去推断结果Y是否由原因X造成。“相关性并不意味着因果关系”，相信做数据分析的同学都明白这个道理。有一个喜闻乐见的例子：夏天海岸，鲨鱼袭击事件较其他季节多20%，同时冰淇淋销量比其他季节多100%，冰淇淋销量和鲨鱼袭击事件成正相关关系，得出结论销售冰淇凌会导致鲨鱼袭击。这实际上是违背常识的。
上海是全国最早实行私人轿车牌照拍卖方式来控制交通流量的城市，需要通过投标拍卖的形式购买车牌。 而车牌的拍卖并不是简单的价高者得，服务器只接受最低可成交价上下300元区间内的出价，意思就是说，如果现在最低成交价是60000，你出价范围必须在57000～63000之间，并且这个最低成交价是在不断变化的，到了最后几分价格上涨太快根本来不及操作。 如果能提前根据历年数据预测本次拍卖成交价格，那么成功率必定比盲拍要高很多。 下面就尝试使用 scikit-learn 这个机器学习工具库来进行价格预测。 收集数据
8规则详述： · 流量从上往下流过分流模型 · 域1和域2拆分流量，此时域1和域2是互斥的 · 流量流过域2中的B1层、B2层、B3层时，B1层、B2层、B3层的流量都是与域2的流量相等。此时B1层、B2层、B3层的流量是正交的 · 流量流过域2中的B1层时，又把B1层分为了B1-1，B1-2，B1-3，此时B1-1，B1-2，B1-3之间又是互斥的 应用场景 · 如果要同时进行UI优化、广告算法优化、搜索结果优化等几个关联较低的测试实验，可以在B1、B2、B3层上进行，确保有足够的流量 · 如果要针对某个按钮优化文字、颜色、形状等几个关联很高的测试实验，可以在B1-1、B1-2、B1-3层上进行，确保实验互不干扰 · 如果有个重要的实验，但不清楚当前其他实验是否对其有干扰，可以直接在域1上进行，确保实验结果准确可靠
β多样性是指在一个梯度上从一个生境到另一个生境所发生的多样性变化的速率和范围，它是研究群落之间的种多度关系。不同群落或某环境梯度上不同点之间的共有种越少，β多样性越大。精确地测定β多样性具有重要的意义。这是因为：①可以用来指示物种被生境隔离的程度；②可以用来度量生物多样性沿生境变化范围；③β多样性与α多样性一起构成了总体多样性或一定地段的生物异质性。
窗口函数的主要作用是对数据进行分组排序、求和、求平均值、计数等。对于数据从业者来说， sql窗口函数在实际工作中具备非常广泛的应用场景。可以大大的提高数据查询效率，同时也是数据类相关岗位的面试/笔试的必考点。所以不论是在职的分析师，还是准备找工作的同学，都必须要牢牢掌握窗口函数的概念及用法。感谢群友饭小米的投稿，接下来让我们详细了解一下窗口函数的前世今生吧。
商品期货市场中，经济活动和标的资产的需求有着紧密的联系。工业的生产和库存数据能够反映近期的市场需求是强劲的还是不足的，从而影响现货价格。同时，生产制造的情绪变化也有助于预测市场需求的拐点。在基于美国工业供给数据和有色金属期货价格数据的实证研究中，这些结论都得到了验证。基于如库存动态、工业生产增长及工业景气等指标构建对工业评价的综合指标，基于该指标构建的简单交易策略在过去28年取得了显著的收益。
领取专属 10元无门槛券
手把手带您无忧上云
