,在找到其错漏之前,它始终正确; 假设是无人愿意相信的新颖建议,在被证明有效之前,它始终错误。...假设检验的应用在数据科学中占据主导地位,有必要对其进行简化和解构。如同侦探漫画,基于数据建立起来的假设检验,可以引领我们从一个新颖的启发中得出有效的推论。 ?...对于纸牌透视游戏而言,以下假设是正确的: 在该游戏中,卡牌抽取的分布服从正态分布。因为卡牌是随机选择的,所以此假设应当为真,也即:所抽取的十张牌中,每一张都有相等几率被用于测试。...对于纸牌透视游戏而言,原假设如下: H0:埃西铎/甘道夫不能透视。 他只是在瞎猜。能不能中完全随缘。 ? (就像随缘箭赠有缘人) 步骤3:备择假设(Ha) 备择假设是原假设的相反假设。...这意味着概率统计错误的几率是1%。 设定的显著性水平(α)为0.05。即为5%。 p值小于设定的显著性水平,即1%<5%。 步骤7:得出结论 测试结束。数据已经知晓。谁才是真正的巫师?
为了保证填入Excel中数据的规范性,我们可以利用“数据有效性”使得数据在被输入前就按照设定进行输入。...03 数据透视表 表格的最终形态其实就是可视化图表,这可以使得一份繁复的表格能通过清晰的图表样式呈现,我们今天就来讲讲其中的数据透视表。...数据透视表是一种交互式的表,可以进行某些计算,如求和与计数等,所进行的计算与数据跟数据透视表中的排列有关,每一次改变版面布置时,数据透视表会立即按照新的布置重新计算数据。...而要做出一张数据透视表还须进行如下图所示的三个步骤: 1)在Excel里选中相对应的表格范围; 2)点击工具栏中“插入”下的“数据透视表”并点击“确定”; 3)在右侧跳出的菜单“分析”中选择自己所需要的维度...就这样,一张数据透视表便完成了。 大多数Excel的使用者或多或少都会遇到以上三个方面的问题。一张漂亮的表格,除了在保证数据不出错之外,还得利于大家审阅与分析。
在针对“Learning to Code”群体中,Heroku 以 35.24% 的比例位列第一,超过了 Google、AWS 和 Microsoft 。...今年 4 月,Heroku 还曾发生一起严重的安全事故,社区反应激烈,当时一名攻击者获取了 Heroku 的主数据库(在我们那个时代称为 core-db)的访问权,并泄露了它的内容,包括哈希密码和用于...Heroku 是云计算的终极创意工厂——比如 “十二要素应用宣言(The Twelve-Factor App)” 、抗侵蚀和 DX,这些概念将会经得起时间的检验,但是在它们的受益者中,很少有人会认识到它们与...甚至在 Heroku 的“内核”中,你也可以进行交换,因此你仍然可以使用 Heroku 来构建、编排和监控你的应用,但是它们会在你自己的专用单租户服务器上运行。...“十二要素应用宣言(The Twelve-Factor App)”中的“支持服务”描述了诸如数据库等持久性服务的“额外资源”,它作为孤立的资源存在,能够被任意地附加和分离到更短暂的应用中。
在本地查看错误页面 在将项目推送到Heroku之前,如果你要在本地查看错误页面是什么样的,首先需要在本地设 置中设置Debug=False,以禁止显示默认的Django调试页面。...查看错误页面后,将DEBUG重新设置为True,以方便你进一步开发“学习笔记”。(在settings.py 中用于Heroku部署的部分中,确保DEBUG依然被设置为False)。...然后,我们提交所做的修改(见2),并将修改后的项目推送到Heroku(见3)。 现在,错误页面出现时,其样式应该与网站的其他部分一致,这样在发生错误时,用户将不 会感到突兀。 4....使用方法get_object_or_404() 现在,如果用户手工请求不存在的主题或条目,将导致500错误。Django尝试渲染请求的页 面,但没有足够的信息来完成这项任务,进而引发500错误。...如果你在本地迁移了数据库,也需要迁移在线数据库。
在观察数据之间的关系和规律方面,有一种强大的工具叫做透视表(Pivot Table),历史上,透视表最初是基于某个表的汇总分析表,透视表给了人们非常强大的洞察力。...Excel 工作表中的表 在办公计算阶段,一旦涉及的业务变得复杂,很难理解诸如 A5:D7 这种编码形式的含义,而导致业务计算的逻辑在维护起来很复杂,也可能引发潜在的计算问题而不被发现。...Excel 函数 VLOOKUP 现在让我们来假设你会用表格和透视表,但很快你会遇到的问题就是:订单表没有产品信息,需要根据产品信息来分析订单而建立透视表的时候,就需要在订单表里补充一个产品类别列,会这样做...例如一旦你在产品表中插入了一列,那 VLOOKUP( [@产品ID], 产品, 3, FALSE ) 可能将导致计算到另外的列,而这种并非会报错,有时这种错误很难发现,导致很严重的业务计算错误。...在第一次点击管理数据模型时,系统会提示我们: 这样便彻底开启了数据模型的高级能力: 我们可以在PowerPivot中对数据模型做更加复杂的定义以实现让透视表可以完成非常强大的计算功能,甚至可以应对百万乃至亿级数据的处理
所有数据在一张表里 透视表的原始数据需要放在一张工作表里,而不是分多张工作表放置。...如下图所示,表的第一行为空白,会导致透视表字段出错,表中间有空行,会导致透视表中有空值。...表中不要有合并单元格 数据透视表的原始表格中不要有合并单元格存在,否则容易导致透视分析错误 填充合并单元格办法:取消合并单元格 ->选中要填充的空单元格 ->输入公式->按Ctrl+Enter键重复操作...创建数据透视表 •使用推荐的透视表 在原始数据表中,单击【插入】选项卡下【表格】组中的【推荐的数据透视表】按钮,即可出现一系列推荐的透视表 。...数据透视图是动态图表,可以通过坐标轴和图例附近的下拉菜单调整图表内容 数据透视图是动态图表,可以通过坐标轴和图例附近的下拉菜单调整图表内容 将数据透视图变成普通图表 数据透视图会随着数据透视表数据变化而变化
1,制作数据透视表 制作数据透视表的时候,要确定这几个部分:行字段、列字段、数据区,汇总函数。数据透视表的结构如图1所示。...图8 统计结果 2,筛选数据透视表中的数据 pivot_table的运算结果是一个DataFrame类型,所以可以用DataFrame截取数据的方法筛选数据透视表中的数据。...图12 仅保留汇总数据某些行和列 3,使用字段列表排列数据透视表中的数据 数据透视表是一个DataFrame,所以可以用sort_values方法来按某列排序,示例代码如下: pt = df.pivot_table...4,对数据透视表中的数据进行分组 在Excel中还支持对数据透视表中的数据进行分组,例如可以把风扇和空调的数据分为一组来计算,如图14所示。...图14 对数据透视表中的数据进行分组 用Pandas也可以实现类似的统计,示例代码如下: 代码11-9 对数据透视表中的数据进行分组统计 import pandas as pd import xlwings
重置管理员密码在文末(需本地环境操作)点击跳转 Cloudreve-Heroku with Redis Cloudreve with redis的Docker版本,可自定义数据库信息 应用程序升级或变更时...:hobby-dev", "logdna:quaco" ], 账户信息-请及时修改 部署完成在应用日志或LogDNA中查看默认的账户密码 Cloudreve-Heroku with Redis +...Jawsdb Mysql(需要已验证的Heroku账户) Cloudreve with redis的Docker版本,内置Heroku Redis与Jawsdb Mysql 默认数据库空间为5MB 一键部署在..."heroku-redis:hobby-dev", "logdna:quaco" ], 账户信息-请及时修改 部署完成在应用日志或LogDNA中查看默认的账户密码 app[web] info...Cloudreve 会重新校准所有已注册用户的容量使用。
AddSlicer 支持为表格和数据透视表添加切片器新增函数 GetPivotTables 支持获取数据透视表新增函数 DeletePivotTable 支持删除数据透视表数据类型 PivotTableOptions...中添加了新的字段 Name 以支持创建数据透视表时指定自定义数据透视表名称新增 7 项公式函数:DBCS、SEARCH、SEARCHB、TEXT、TEXTAFTER、TEXTBEFORE 和 xlfn.ANCHORARRAY...v2.8.0 中引入的问题,通过创建特殊自定义名称的方式设置打印区域和打印标题时不再返回错误修复 v2.8.0 中引入的问题,修复了由于内部样式部件中索引颜色和 MRU 颜色缺省值处理有误导致的生成工作簿损坏问题修复...AutoFilter 函数添加自动过滤器时出现的 panic修复部分情况下在工作表中添加表格导致的工作表损坏问题修复部分情况下读取带有时间类型数字格式单元格的值有误的问题支持计算字符型公式单元格的值修复在带有单元格表格的工作簿中添加表格时...在获取内联富文本时返回错误的问题修复部分情况下,由于共享字符串表索引计算有误导致的设置单元格的值结果有误问题修复函数 GetConditionalFormats 读取带有“高于平均值”条件格式规则时
在人力资源的数据分析体系的构建中,我们最终的目的是要把人力资源各个模块的数据表进行数据的关联,然后通过关键指标来构建起一个体系化的数据模型,在进行人力资源的数据模型构建中,我们往往会忽略最重要的原始的数据标准表...,今天我们就来聊聊在人力资源数据分析中的原始数据分析表。...在数据分析中,我们常用的方法是通过数据透视表来构建数据之间的关系,然后再通过数据透视图来做数据的可视化,所以就要求我们的数据分析标准表是一张标准的可以做数据透视的表。...同时我们在构建底层的数据标准表的时候,一再强调是标准表,因为在集团公司有下面有很多的分公司,每个分公司可能都有自己的一套底层数据表,这样就会导致集团在进行各个分公司的数据汇总的时候,要花大量的时间进行数据的处理...那我们在进行表格设计的时候,就会用到数据有效性,在数据有效性中,可以对数据字段的长度,格式,数量等进行自定义,这样就可以规避下面的公司HR在输数据的时候出现错误。
本章不会解决用户在转换中触发错误的问题(尽管以后的章节会解决),但会向用户展示 Power Query 如何合并两个或更多的数据集,而不必担心用户把最后几行的数据粘贴过来导致数据重复。...行数将显示在界面的左下方。 为了验证和可视化加载到 Excel 中的数据量,可以在这里用数据透视表来汇总数据。 选择 “Transaction” 表中的任何单元格【插入】【数据透视表】。...如果用户把数据加载到一个 Excel 表中,然后把它放入到一个 【数据透视表】中,是需要刷新【数据透视表】,以便让更新的数据流入【数据透视表】。 右击【数据透视表】【刷新】。...相反,这导致每个包含该文本的单元格会产生一个 “Error” 值,如图 8-22 所示。 图 8-22 将无效日期转换为错误 这个问题实际上是有利的,因为合并后的礼品券全表中的所有数据都是重复的。...需要注意的是,在应用这种技巧的场景中,将第一行提升为标题是有风险的,因为如果有人不关心日期列,他们可能会删除 “Feb 2008” 这一列,这就会导致出错。
这篇指南除了详细介绍现有的 API 外,Heroku 将来新加入的内部 API 也会符合这种设计模式,我们希望非 Heroku 员工的API设计者也能感兴趣。...依赖于重定向的客户端访问不仅会导致双倍的服务器负载,还会使 TLS 加密失去意义,因为在首次非 TLS 调用时,敏感信息就已经暴露出去了。...资源名(Resource names) 使用复数形式为资源命名,除非这个资源在系统中是单例的 (例如,在大多数系统中,给定的用户帐户只有一个)。...最小化路径嵌套 在一些有父路径/子路径嵌套关系的资源数据模块中,路径可能有非常深的嵌套关系,例如: /orgs/{org_id}/apps/{app_id}/dynos/{dyno_id} 推荐在根(root...保证响应JSON最小化 请求中多余的空格会增加响应大小,而且现在很多的HTTP客户端都会自己输出可读格式("prettify")的JSON。
而相对于数据宽转长而言,数据长转宽就显得不是很常用,因为长转宽是数据透视,这种透视过程可以通过汇总函数或者类数据透视表函数来完成。 但是既然数据长宽转换是成对的需求,自然有对应的长转宽函数。...除此之外,tidyr包中的spread函数在解决数据长转宽方面也是很好的一个选择。...内的两个函数所需参数少,逻辑上更好理解,自始至终都围绕着data,key、value三个参数来进行设定,而相对老旧的包reshape2内的melt\dcast函数在参数配置上就显得不是很友好,他是围绕着一直不变的主字段来进行设定的...还在Python中提供了非常便捷的数据透视表操作函数,刚开始就已经说过是,长数据转宽数据就是数据透视的过程(自然宽转长就可以被称为逆透视咯,PowerBI也是这么称呼的)。...pandas中的数据透视表函数提供如同Excel原生透视表一样的使用体验,即行标签、列标签、度量值等操作,根据使用规则,行列主要操作维度指标,值主要操作度量指标。
引用其他工作表数据 •在E1单元格中,输入”=“ 注意:只能针对单个单元格的引用 引用其他工作表数据 •点击另外一张数据表,在该表中找到要引用的数据,选中对应单元格即可。...如下图所示,表的第一行为空白,会导致透视表字段出错,表中间有空行,会导致透视表中有空值。...表中不要有合并单元格 数据透视表的原始表格中不要有合并单元格存在,否则容易导致透视分析错误 填充合并单元格办法:取消合并单元格 ->选中要填充的空单元格 ->输入公式->按Ctrl+Enter键重复操作...创建数据透视表 •使用推荐的透视表 在原始数据表中,单击【插入】选项卡下【表格】组中的【推荐的数据透视表】按钮,即可出现一系列推荐的透视表 。...数据透视图是动态图表,可以通过坐标轴和图例附近的下拉菜单调整图表内容 数据透视图是动态图表,可以通过坐标轴和图例附近的下拉菜单调整图表内容 将数据透视图变成普通图表 数据透视图会随着数据透视表数据变化而变化
有时候我们会遇到这种问题: 很多数据散落在很多工作表或者工作簿中,由于某项工作我们需要将这些数据做个汇总。...比方,我们有以下三个工作簿 这三个工作簿含有第一季度各品牌在各个国家的销售数据,又分为若干不等的工作表。...然后有一天我在ExcelHome论坛发现了版主写的一个神器,可以自动生成SQL语句,实现跨工作簿/工作表进行数据汇总透视。(点击阅读原文可以找到工具下载链接)下面介绍下该工具的使用方式。...一、界面 界面很简单,点击“指定数据源”弹出对话框,可以指定你要汇总的数据源。此处我们需要汇总1-3月的销售数据,所以全选。 二、字段设定 上一步完成后会弹出以上窗体。...我们不需要理解语句的内容,只需要点“复制”,然后点“退出”。 三、命令文本的粘贴 打开工具中的数据透视表。
Pbi的基本逻辑是清洗数据后,在底层通过多表模型搭建数仓;然后从数仓出发,用DAX编制度量值构建数据指标中台;最后再出具可视化图表报告。小白上手可以简单略过数据清洗环节,但绕不开多表建模和度量值。...最基础的Excel透视表,按维度(年或品类)拉取毛利率时,由于毛利率本身是数据源表里的一列,所以计算合计毛利率时,透视表很自然地把各项毛利率直接相加,即 合计毛利率 = sum( 毛利率 ) 导致错误结果...度量值的特点是本身并不存在于特定的数据源表中,只有在作图的时候才会根据图表上下文实际情况,实时计算并生成数据结果。在本例中,度量值重新根据合计的上下文环境去计算,公式如下,因此可以得出正确结果。...合计毛利率 = sum(毛利) / sum(销售额) Qbi跟Excel透视表类似,直接拉取源表里的列,同样会得出错误的结果。为解决这个问题,Excel和Qbi都可以使用计算字段。...当期收入的每一个衍生值,在Pbi里都需要单独写相应的度量值,而Qbi则有点类似于Excel的透视表,不需要额外建度量值,直接内置在图表控件中。
支持 XLSX / XLSM / XLTM 等多种文档格式,高度兼容带有样式、图片(表)、透视表、切片器等复杂组件的文档,并提供流式读写 API,用于处理包含大规模数据的工作簿。...,相关 issue #492 函数 AddPivotTable API 更改,支持设置数据透视表的数据标签与汇总函数,相关 issue #582 函数 AddPivotTable 支持设置数据透视表的筛选项...,相关 issue #598 函数 AddPivotTable 支持数据透视表中的值、行或筛选项为空 导出函数 ExcelDateToTime,提供将 Excel 时间格式转换为 time.Time 数据类型..., 解决 issue #608 修复特定情况下通过 StreamWriter 进行流式写入导致工作表损坏的问题,解决 issue #576 提高公式中的特殊字符兼容性,解决 issue #578 修复通过...r 属性而导致的 GetCellValue 错误地返回空值问题 兼容单元格样式中的空值与默认值,修复部分情况下通过电子表格软件打开生成文档修改样式失效的问题,解决 issue #628 性能提升 优化内部函数
另外,在预算分析工作中常用到PQ的地方是逆透视,因为往往我们在制定预算时的数据形态是下图这类二维表(数据透视后的形态)。 ?...颗粒度的不同导致我们很难把实际和预算表的数据整合到同一张表中再制作数据透视。...所以为了实现实际与预算的比较,一般会先定义一张Excel的模板中,再动用Sumif+Vlookup函数,以统一、固定的颗粒度去获取两张表中的数据计算结果。 ?...随着数据量的增加,分析去年同期和季度环比等等,一定需要带上历史数据,下拉公式的方法在Excel中可能出现卡顿... 种种不便也可能导致结果的差错,而数字差错是财务人最不能容忍的。...其实并不是这样,PowerBI在各行各业都可以大显身手,而应用在财务领域中有两点特别的优势: 一、从数据分析角度看,业务数据会更复杂,比如分析钢材的销量与某网页的点击量所接触到的数据源形态是截然不同的。
自动检测列类型问题 这个问题跟Power BI里的自动检测数据类型一样,建议通过设置调整为“从不检测未结构化源的列类型和标题”: 如果是当前工作簿已经开启,也可以在“当前工作簿”下的“数据加载”中取消勾选...: 默认加载到工作表问题 这来自于群里一位朋友的心得:在Excel的PQ里,取消默认的“加载为工作表”配置,这样,创建的查询会默认“加载为连接”。...——所以默认都不加载为工作表,仅仅是连接,最终只对输出的那个查询作为工作表输出,效率会高很多。...调整该设置时,首先切换到“指定自定义默认加载设置”,然后取消勾选“加载到工作表”选项: 这样,后续需要对哪个查询加载到工作表时,可以退出PQ,回到Excel,在“数据/查询和连接”中,右键单击要加载的查询...依次点击【文件/选项】进入“Excel选项”对话框: 在“Excel选项”对话框中,单击“数据”选项,设置“在自动透视表中禁用日期/时间列自动分组”为勾选状态: 以后,再往数据透视表中拖放日期,就不会自动组合了
Python: 关于Python中的变量与数据描述函数,因为之前已经介绍过一些基础的聚合函数,这里仅就我使用最多的数据透视表和交叉表进行讲解:Pandas中的数据透视表【pivot_table】和交叉表...透视表中的行字段,通常为类别型字段) columns=None, #列字段(对应Excel透视表中的列字段,通常为类别型字段) values=None...pandas的交叉表函数pd.crosstab参数设定规则与透视表保持了很高的相似度,确实从呈现形式上来讲,数值型变量的尽管聚合方式有很多【均值、求和、最大值、最小值、众数、中位数、方差、标准差、求和等...,其理念大致与Excel中的透视表理念一致,只要把握好关于行、列、度量值和聚合函数的设定规则即可。...事实上,crosstab似乎同时也能兼容透视表的完整功能,但是奇怪的是透视表提供了数据框名称参数,指定参数时无需声明数据框名称,而且行列字段都可指定列表对象(二维以上,指定多个 字段),但是交叉表则没有给出数据框名称向量
领取专属 10元无门槛券
手把手带您无忧上云