难度：1 问题：创建一个含有从0到9数字的一维数组，并输出 答案： 3.如何创建布尔数组？ 难度：1 问题：创建一个3×3的所有值为True的numpy数组。...难度：3 问题：过滤具有petallength（第3列）> 1.5和sepallength（第1列）<5.0的iris_2d的行。 答案： 35.如何从numpy数组中删除包含缺失值的行？...输入： 输出： 其中，2和5是峰值7和6的位置。 答案： 64.如何从二维数组中减去一维数组，其中一维数组的每个元素都从相应的行中减去？...难度：2 问题：从二维数组a_2d中减去一维数组b_1d，使得每个b_1d项从a_2d的相应行中减去。...难度：2 问题：创建一个长度为10的numpy数组，从5开始，在连续数字之间有一个3的步长。 答案： 69.如何填写不规则的numpy日期系列中的缺失日期？ 难度：3 问题：给定一个不连续的日期数组。
本地没有华人超市，一些常见的食品和调料都买不到。 要想去华人超市，就得到最近的“大城市”莱克星顿。 从学校到那里地距离，跟天津到北京差不多。 我自己没有买车，公共交通又不方便，一开始很是苦恼。...我们在对应的数据类别上点击鼠标右键，在弹出的浏览器菜单中选择“链接另存为”，然后存储到本地。 我已经为你下载好了相关的3种数据格式，并且存储在了一个Github项目中。...数据有了，下面我们准备一下Python编程环境。 环境 我们使用Python集成运行环境Anaconda。 请到这个网址 下载最新版的Anaconda。下拉页面，找到下载位置。...可以看到，第一行是表头，说明每一列的名称。之后每一行都是数据，分别是日期和对应的售价中位数取值。 每一行的两列数据，都是用逗号来分割的。 我们可以用Excel来打开csv数据，更直观来看看效果。...把最旧的日期和对应的数值放在第一行，最新的日期和对应的数值置于末尾； 把时间设置为数据框的索引，这主要是便于后面绘图的时候，横轴正确显示日期数据。 下面我们调用这个函数，整理数据框变量df。
可以通过使用pip命令来进行安装： pip install pandas 安装完成后，我们可以通过以下方式将Pandas导入到Python代码中： import pandas as pd 数据结构 Pandas...它类似于Excel中的电子表格或SQL中的数据库表，提供了行、列的索引，方便对数据进行增删改查。...数据操作 在数据操作方面，Pandas提供了丰富的功能，包括数据选择和索引、数据切片和过滤、数据缺失值处理、数据排序和排名等。...) 使用groupby方法按照产品类别对数据进行分组，然后使用sum方法计算每个产品类别的总销售额和利润，并将结果存储在category_sales_profit中。...# 统计每个月的销售额和利润 df['OrderDate'] = pd.to_datetime(df['OrderDate']) # 将日期字符串转换为日期对象 df['Month'] = df['OrderDate
“在线销售”事实表包含用于将此表与每个维度关联的关键列。事实表还包含数字类型的列，用于定义聚合和合计数字值（如净价、数量、单位成本、单位折扣和单价）的度量值。...你将注意到，从每个维度表到事实表的关系是一对多的，并在一个方向上过滤记录，如关系行上的箭头所示。例如，“客户信息表”与“在线销售”之间的关系基于这两个表中的“客户Key”列。...传统的方法是使用桥接表，该桥接表包含将两个表关联在一起的所有键组合。在下面的示例中，“客户”和“产品”维度表通常有一个从关系的“一方”到“多方”的单向过滤器。...下面是另一个示例：鉴于为所选客户帐户和交易记录的要求，下面的模型不适用于现成的关系。要了解原因，请遵循筛选的记录流。从“客户”到“账户客户”，关系行上的箭头指示筛选器流向正确的方向。...一旦“客户”表被过滤，“账户表”将不被过滤，因为关系不会自然地从多侧流向单侧。 ? 将关系筛选器更改为“双向”可修复问题并满足报告要求。 ? 如前所述，双向滤波器引入了潜在的性能损失。
在这本书里，围绕数据分析的流程，作者数据分析师张俊红先生，详细介绍了每个步聚中，用Excel如何实现，用Python如何实现。 『 事务千万件，流程第一件。不按流程走，返工流眼泪 』。...01|明确目的 根据各个花园上报的这样的明细数据 僵尸ID 僵尸类别ID 战场编号 僵尸等级 僵尸数量 战斗日期 战斗ID 统计战斗成果，每月例行填写下列表格： 本月累计 上月同期 去年同期...有一个叫做“战斗日期”的列，是记录日期的，你可不要以为是数值，你拿出你的日期时间工具包，把它处理一下，要保证理解为日期的值。 文件的编码是GBK编码的，别搞乱码了。...所有的列都是3478行，全都没有空值(non-null) 而且”战斗日期"的数据格式为datetime64[ns]，符合要求。...>=datetime(2017,2,1))&(data['战斗日期']<=datetime(2017,2,28))] 编写函数，输入的参数为 各个时间段的数据框架DataFrame, 输出的值为 战功，
本地没有华人超市，一些常见的食品和调料都买不到。 要想去华人超市，就得到最近的“大城市”莱克星顿。 ? 从学校到那里地距离，跟天津到北京差不多。 我自己没有买车，公共交通又不方便，一开始很是苦恼。...我们在对应的数据类别上点击鼠标右键，在弹出的浏览器菜单中选择“链接另存为”，然后存储到本地。 我已经为你下载好了相关的3种数据格式，并且存储在了一个Github项目中。...数据有了，下面我们准备一下Python编程环境。 环境 我们使用Python集成运行环境Anaconda。 请到这个网址 下载最新版的Anaconda。下拉页面，找到下载位置。...打开咱们的样例csv文件，ZILLOW-M550_SALES.csv来看看。 ? 可以看到，第一行是表头，说明每一列的名称。之后每一行都是数据，分别是日期和对应的售价中位数取值。...把最旧的日期和对应的数值放在第一行，最新的日期和对应的数值置于末尾； 把时间设置为数据框的索引，这主要是便于后面绘图的时候，横轴正确显示日期数据。
首先我们要判断空值，然后设置日期天数计算起始时间，利用datetime模块的timedelta函数将时间天数转变成时间差，然后直接与起始日期进行运算即可得出其代表的日期。...offset 这里比较难想的就是天数计算起始日期，不过想明白后，其实也好算，从excel中我们可以直接将日期天数转成短日期，等式已经有了，只有一个未知数x，我们只需列一个一元一次方程即可解出未知数x...return common_date 日期格式化符号解释表 @CSDN-划船的使者 “3）按订单编号SOID去重 ” 这里去重复除了按指定列去重外，还需要按日期保留最新数据。...我的想法是，首先调用pandas的sort_values函数将所有数据根据日期列进行升序排序，然后，调用drop_duplicates函数指定按SOID列进行去重，并指定keep值为last，表示重复数据中保留最后一行数据...代码如下： # 去除重复值 SOID重复 按日期去除最早的数据 def delete_repeat(data): # 先按日期列 Docket Rec.Date & Time 排序 默认降序
从上面的例子可以看出，在没有partition by 的情况下，是把整个表作为一个大的窗口，SUM（）相当于向下累加，AVG（）相当于求从第一行到当前行的平均值，其他的聚合函数均是如此。...从以上的运行结果可以看出是把每一行（当前行）的前一行和后一行作为汇总的依据。 ?...2、连续登录问题 假设有一张含两列(用户id、登陆日期)的表，查询每个用户连续登陆的天数、最早登录时间、最晚登录时间和登录次数。...在每一组中最小的日期就是最早的登陆日期，最大的日期就是最近的登陆日期，对每个组内的用户进行计数就是用户连续登录的天数。 运行代码及结果为： ? ? 若求解每个用户的最大登录天数。...示例：数据还是上题中的数据，求解连续登录五天的用户 第一步，用lead函数进行窗口偏移，查找每个用户5天后的登陆日期是多少，如果是空值，说明他没有登录。运行的代码为 ?
NumPy 数组切片NumPy 数组切片用于从数组中提取子集。它类似于 Python 中的列表切片，但支持多维数组。一维数组切片要从一维数组中提取子集，可以使用方括号 [] 并指定切片。...([[1, 3, 5], [7, 9]])# 从第一行到第三行，第二列print(arr[:, 1]) # 输出：array([2, 5, 8])练习创建一个 5x5 的二维数组 arr，并打印以下子集...：第一行的所有元素第二列的所有元素从左上角到右下角的对角线元素2x2 的子数组，从第二行第三列开始在评论中分享您的代码和输出。...NumPy 中的数据类型NumPy 具有比 Python 更丰富的基本数据类型，并使用首字母大写字符来表示它们：i: 整数（int）b: 布尔值（bool）u: 无符号整数（unsigned int）f...一个包含 5 个布尔值的数组。一个包含 7 个复杂数的数组。一个包含 10 个日期时间对象的数组。在评论中分享您的代码和输出。
2.WBS上有哪些日期：项目定义维护基本开始和结束时间；WBS维护基本时间、实际时间（必须release后），同时WBS能看网络的汇总时间。 3.工厂日历：每个WBS都可以维护，就是日历。...10)网络排程前后对比、销售订单、子网络：CN24或者CN24N可以对网络时间修改前后做监控；销售订单的多个行项目可以自动创建并触发多个网络的排程，跟交货时间和需求时间有关系；CN24N可以监控子网络情况...：订单类型、行项目类别、交货日期行项目类别。...第三，销售订单的行项目类别是由订单类型+物料主数据决定的，不同的物料，决定了行项目类别不同，行项目类别的不同决定了科目分配类别的不同。...科目分配类别决定了收入可能记录到不同的地方（比如有的记录到项目上，有的记录到COPA上）） 第四，关于行项目类别到科目分配类别的过程：行项目类别对应不同的需求类型。不同的需求类型对应不同的需求类。
首先利用 [repeat purchase] = iif([order date] > [1st purchase], [order date], null) 得到一个新列，首次购买的那一行值为 null...范围平均值差异百分比 如下图所示，我们希望将趋势图的每个点，与选定区域（图中两个虚线范围内）的均值做一个差异百分比，并生成一个新的折线图放在上方。 重点是上面折线图 y 轴字段，差异百分比如何表示。...我们可以利用 LOD 表达式解决这个问题： 相对周期过滤的重点是，不能直接用日期进行对比，因为今年数据总是比去年大。...比如因为今年最新数据到 11.11 号，那么去年 11.11 号之后的数据都要被过滤掉。...唯一的区别是，我们不仅按照顾客 ID group，还要进一步对最早购买日期做拆分，即：{ fixed [customer id], [Cohort] : count([order id]) }。
过滤器 一、形式：小写 {{ name | lower }} 二、串联：先转义文本到HTML，再转换每行到 标签 {{ my_text|escape|linebreaks }} 三、过滤器的参数...{{ 列表变量|dictsortreversed:"数字" }} 排序从大到小 {% if 92|divisibleby:"2" %} 判断是否整除指定数字 {{ string|escape }} ...:"3" }} 截取指定个数的单词 {{ "111221"|truncatewords_html:"2" }} 截取指定个数的html标记，并补完整...{{ boolean|yesno:"Yes,No,Perhaps" }} 对三种值的返回字符串，对应是 非空,空,None 日期格式化参数 a 'a.m.' ...这个偏移量对UTC西部 时区总是负数,而对UTC东部时区则总是正数 -43200 to 43200 参考推荐： Python 学习入门 —— 时间 django 过滤器 、日期格式化参数 python
SCD问题的几种解决方案 以下为解决缓慢变化维问题的几种办法： 保留原始值 改写属性值 增加维度新行 增加维度新列 添加历史表 SCD解决方案 - 保留原始值 某一个属性值绝不会变化。...事实表始终按照该原始值进行分组。例如： 出生日期的数据，始终按照用户第一次填写的数据为准。 SCD解决方案 - 改写属性值 对其相应需要重写维度行中的旧值，以当前值替换。因此其始终反映最近的情况。...12月20日的数据是全新的数据导入到dw表 dw_start_date表示某一条数据的生命周期起始时间，即数据从该时间开始有效（即生效日期） dw_end_date表示某一条数据的生命周期结束时间，即数据到这一天...（不包含）（即失效日期） dw_end_date为9999-12-31，表示当前这条数据是最新的数据，数据到9999-12-31才过期 12月21日商品拉链表的数据 ?...生效日期（dw_start_date） 失效日期（dw_end_date） 只同步当天修改的数据到ods层 拉链表算法实现 编写SQL处理当天最新的数据
选择好之后会进入到这样的一个界面： [在这里插入图片描述] 用过vim的同学应该对这个界面不陌生，类似的操作：按A键开始编辑，按ESC输入wq保存并退出 重点是最下面的一段内容： m h dom mon...首先我们需要每天从ftp服务器中下载最新的任务数据，将数据下载到本地后通过Python进行数据汇总统计，最后将结果存入数据库中，如果期间某个环节出现问题则发送告警邮件。...① Python脚本 首先需要Python脚本完成以下功能： 从数据库中获取最新数据日期 从ftp中下载最新数据到本地 对本地最新数据进行汇总统计 统计结果存入数据库汇总 邮件通知 上面这个流程大致的伪代码是这样的...任务 打开crontab，编辑如下内容到最后一行，保存并退出 crontab是会自动实时更新任务列表的，如果不放心也可以通过restart命令重启cron 服务【参考文章开头】 [在这里插入图片描述]...这里有个小建议，所有的路径都填写绝对路径 ③ 效果监控 如果Python代码没有问题，任务会定时执行。
---- OLAP(online analytic processing) 数据库同样也开始越来越多的用于数据分析，数据分析需要扫描大量的记录，同时每个记录通常只会读取少数的几列，并计算汇总统计信息(如计数...日期和时间通常使用维度来表示，这样可以对日期(如公共假期)的相关信息进行编码，从而查询可以对比假期和非假期日之间的销售情况。...但是，面向行的存储引擎仍然需要将所有这些行（每个包含超过 100 个属性）从硬盘加载到内存中，解析它们，并过滤掉那些不符合要求的属性。这可能需要很长时间。...因此，如果你需要重新组装完整的行，你可以从每个单独的列文件中获取第 23 项，并将它们放在一起形成表的第 23 行。...这将有助于需要在特定日期范围内按产品对销售进行分组或过滤的查询。 按顺序排序的另一个好处是它可以帮助压缩列。如果主要排序列没有太多个不同的值，那么在排序之后，将会得到一个相同的值连续重复多次的序列。
从“度量”区域拖出的任何字段在添加到视图时一开始将为连续，因此其背景将显示为绿色，但如果您单击字段并选择“离散”，则值将变为列标题。 然而Tableau 会继续对字段的值进行聚合。...在某些情况下，您可能想要对年龄进行加总或求平均值，但也可能想要以数据桶或类别的形式查看每个单独的年龄，这种情况下您会希望 Tableau 为此字段创建标题（而不是轴）。...若要将此视图中标记的数量从 57 增加到上面视图中的 60，请右键单击（在 Mac 上按住 Control 单击）视图中的日期标题之一以及日期或数据桶标题，并选择“显示缺失值”。 2....当您将字段从“度量”区域拖到“列”或“行”时，值默认情况下将是连续的，并且 Tableau 将创建轴；将字段从“数据”窗格的“维度”区域拖到“列”或“行”时，值默认情况下将是离散的，并且 Tableau...转换日期字段 您可以在离散和连续之间转换日期字段。单击视图中的任何日期字段，并选择上下文菜单上的选项之一，便可将该字段从离散转换为连续，或从连续转换为离散： 说明： 1.
这里我首先创造一个利润率的计算字段 ? 可以看到使用了很简单的两个函数 然后添加度量名称，利润率到列中，制造商到行中 以订单日期月来做筛选 ?...按照利润从大到小排列 6.4 缺失值处理 对于缺失值，Tableau会在视图中显示。有一个隐藏显示器，可以选择保留特殊值指示器。 七、一个实际操作 这里我使用Tableau自带的数据集--超市。...通过设置以及操作以后得到的图形 操作步骤 把维度（生成）拖到行功能区，经度（生成）放到列功能区， 把_类别放到标记卡的颜色_中 把_记录数放到标记卡的大小_ 中 把省/自治区放到标记卡的详细信息中 把订单日期放到筛选器上...，并选择显示筛选器 把类别放到筛选器上，并选择显示筛选器 把标记卡中选择为饼图 7.2 各省市的利润 ?...各省市的利润 操作步骤如下 把类别放在列功能区，省/自治区放在行功能区 把利润放在标价卡的颜色中 把利润放在标记卡的文本中 把订单日期放到筛选器中，并选择显示筛选器 7.3 客户散点图 由于时间原因我就不把具体的操作步骤写出来了
销售订单类型是根据各公司实际业务进行定制化配置，不同的类型代表不同的销售业务。 3.填写“销售订单：表头”信息 ?...销售订单：订单编号，保存订单时由系统自动产生； 售达方：销售合同的签订方，结算单位； 送达方：销售合同货物的接收单位； 采购订单编号：可填写供方合同号或需方合同号； 采购订单日期...：销售合同的签订日期； 请求交货日期：预计的销售交货日期，优先级低于行项目中的销售计划行； 交货工厂：客户属性中的交货工厂； 全部交货：强制要求整张订单必须一次性交货完成，不可分批交货...4.填写“销售订单：行项目”信息 ? 行项目信息主要是销售物料的信息，包括编码、名称、数量、单位、发货的库房、金额、类别、首次交货日期等信息。...5.填写订单行项目详细信息 双击行项目，进行详细数据录入界面，对页签中相应的信息进行逐一维护。 ?
上面图中表的布局方式有多种，如星式结构，雪花结构等。...对于初学者，建议按照上面这个Lookup表在上，数据表在下的结构去设计，完全可以满足大部分需求，这样的方法可以帮助你在后面的学习中按过滤器一样去思考，打开阀门，数据好像水流一样自上而下的从Lookup表流入数据表...理想情况下，类别来自于Lookup表，度量值来自于数据表，如下图的数据透视表，往往1234筛选的字段为类别(数据来自Lookup表)，值字段5为度量值(数据来自数据表)。 ?...我们再看可视化图形中，往往轴和图例是来自于Lookup表的类别，值是来自于数据表的度量值。下面这个例子中年份月份来自于'日期表'，体积来自于'杯型表'，值销售量=数据表中数量列的求和。 ?...利用可视化图形中最像数据透视表的矩阵表来举例说明，插入一个矩阵，随意放几组数据，比如行放'区域负责人名单'表中的[年龄]，列放'杯型'表中的[体积]，值放销售量(数量列的求和)。
而从操作上来讲，整个流程都是标准化的，因此我们可以考虑使用Python进行自动化设计。 3.Python优化报表制作过程 通过以上分析，我们知道问题的难点在于处理分成比例。...data=data[data["合同生效日"]>datetime(2018,12,31)] data.shape #经过对日期的过滤，输出了1673行，9列 --- (1673, 9) 对日期列进行观察...纵向追加使用concat()函数，并使用参数ignore_index重置行索引。...从以下运行结果来看，data4数据表格共5019行，贷款金额及贷款用途都含有5019行非空值，说明者两列都没有空值出现。而单位及分成比例只有2041行数据为非空。其他行为空值。...从以下输出结果可知存在空值的记录已经被删除。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
