subset：用来指定特定的列，根据指定的列对数据框去重。默认值为None，即DataFrame中一行元素全部相同时才去除。...注：后文所有的数据操作都是在原始数据集name上进行。 三、按照某一列去重 1 按照某一列去重(参数为默认值) 按照name1对数据框去重。...四、按照多列去重 对多列去重和一列去重类似，只是原来根据一列是否重复删重。现在要根据指定的列判断是否存在重复（顺序也要一致才算重复）删重。...原始数据中只有第二行和最后一行存在重复，默认保留第一条，故删除最后一条得到新数据框。 想要根据更多列数去重，可以在subset中添加列。...但是对于两列中元素顺序相反的数据框去重，drop_duplicates函数无能为力。 如需处理这种类型的数据去重问题，参见本公众号中的文章【Python】基于多列组合删除数据框中的重复值。 -end-
最近公司在做关联图谱的项目，想挖掘团伙犯罪。在准备关系数据时需要根据两列组合删除数据框中的重复值，两列中元素的顺序可能是相反的。...本文介绍一句语句解决多列组合删除数据框中重复值的问题。 一、举一个小例子 在Python中有一个包含3列的数据框,希望根据列name1和name2组合(在两行中顺序不一样)消除重复项。...import numpy as np #导入数据处理的库 os.chdir('F:/微信公众号/Python/26.基于多列组合删除数据框中的重复值') #把路径改为数据存放的路径 df =...由于原始数据是从hive sql中跑出来，表示商户号之间关系的数据，merchant_r和merchant_l中存在组合重复的现象。现希望根据这两列组合消除重复项。...从上图可以看出用set替换frozense会报不可哈希的错误。 三、把代码推广到多列 解决多列组合删除数据框中重复值的问题，只要把代码中取两列的代码变成多列即可。
# 关于排序：如何根据函数返回的值对dart中的List进行排序 void main(){ List pojo = [POJO(5), POJO(3),POJO(7),POJO(1)
excelperfect 在下图1所示的工作簿Data.xlsx的工作表Sheet1中，存放着待使用的数据。 ?...图1 在下图2所示的工作簿GetData.xlsm中，根据列C中的数据，在上图1的工作簿Data.xlsx的列E中查找是否存在相应数据的单元格。 ?...图2 然后，将Data.xlsx中对应行的列I至列K单元格中的数据复制到GetData.xlsm相应的单元格中，如下图3所示。 ?... 3 Then MsgBox ("请选择列C中的单元格或单元格区域.")...Exit Sub Else '遍历所选的单元格 For Each rng In Selection '在数据工作表中查找相应的值所在的单元格
有时候，一行数据中前面的数据值都是0，从某列开始就是大于0的数值，我们需要知道首先出现大于0的数值所在的单元格。...例如下图1所示，每行数据中非零值出现的位置不同，我们想知道非零值出现的单元格对应的列标题，即第3行中的数据值。 ?...图2 在公式中， MATCH(TRUE,B4:M40,0) 通过B4:M4与0值比较，得到一个TRUE/FALSE值的数组，其中第一个出现的TRUE值就是对应的非零值，MATCH函数返回其相对应的位置...MATCH函数的查找结果再加上1，是因为我们查找的单元格区域不是从列A开始，而是从列B开始的。...ADDRESS函数中的第一个参数值3代表标题行第3行，将3和MATCH函数返回的结果传递给ADDRESS函数返回非零值对应的标题行所在的单元格地址。
描述性统计分析： # 统计数值型数据的基本描述性统计信息 df.describe() # 统计各属性的非空值数量 df.count() # 统计各属性的平均值 df.mean() # 统计各属性的方差...进行聚合操作： # 聚合函数：求和、均值、中位数、最大值、最小值 df.aggregate([sum, 'mean', 'median', max, min]) 对某列数据进行聚合操作： # 统计年龄平均值...，表明各元素是否为缺失值 df.isnull() 删除缺失值所在的行或列： # 删除所有含有缺失值的行 df.dropna() # 删除所有含有缺失值的列 df.dropna(axis=1) 用指定值填充缺失值...： # 将缺失值使用 0 填充 df.fillna(0) 数据去重 对 DataFrame 去重： # 根据所有列值的重复性进行去重 df.drop_duplicates() # 根据指定列值的重复性进行去重...df.drop_duplicates(subset=['name', 'age']) 对 Series 去重： # 对 'name' 列进行去重 df['name'].drop_duplicates(
执行列、行计数（count）： 标准格式 SELECT COUNT(计数规范>) FROM 其中，计数规范包括： - * :计数所有选择的行，包括NULL值； - ALL 列名：计数指定列的所有非空值行...，如果不写，默认为ALL； - DISTINCT 列名：计数指定列的唯一非空值行。...还有种情况就是在子查询或联接查询时，主查询及子查询均为对同一张表进行操作，为主、子查询中的表加上不同的别名能够很好的区分哪些列的操作是在主查询中进行的，哪些列的操作是在子查询中进行的，下文会有实例说明。...通过上面两例，应该可以明白子查询在WHERE中嵌套的作用。通过子查询中返回的列值来作为比较对象，在WHERE中运用不同的比较运算符来对其进行比较，从而得到结果。...`student_subject`=s2.student_subject); 这里就是上文提到的别名的第二种用法，主、子查询对同一张表操作，区分开位于内外表中相同的列名。 结果： ?
昨天有个网友在公众号留言问我~ 统计符合B列条件的A列不重复的计数（多个重复算一个） 我读了两边，领悟了他的问题，就是统计符合条件的另外一列的不重复单元格个数！...C列使用的是match函数（找什么，在哪里找，0） 返回第一个参数在第二个参数中首次出现的位数 当A列中数据重复的时候，返回的值是相同的~ D列使用的是Row函数（单元格） 返回单元格所在的行数 由1...如果A列中的值第一次出现的时候则C列与D列值相等，反之不等 所以我们统计C列与D列相等的单元格个数就可以知道A列的非重复值数量 ?...今天就这样啦~ 原问题是解决一列符合某个条件另外一列的非重复值！ ? 我们简化一下，改为B列等于山东的，A列非重复值！ 那我们思考一下，现在变成B列需要判断，求A列非重复值！...此时如果拿这个函数和Row函数对比，相等的就计数。 是否和刚刚的某一列求不重复个数值就一样了？ ?
非衍生指标即指标计算仅仅依赖于数据源表，而不依赖与历史的监控指标，例如PSI值、迁移率等，这些指标描述了监控要素分布的变化，其计算只依赖于源表的当前周期和对比周期数据，不需要对监控指标进行衍生，如PSI...DAG需要执行的部分为叶子节点，为了避免重复计算， 我们对每次执行的叶子节点进行两类类优化： 合并同名函数，当函数名和参数都完全一致时，合并函数，仅执行一次；当函数名一致、参数不一致，生成新的执行函数（...PSI计算优化：从4次遍历表到一次遍历表 相比缺失值占比、零值占比只需一次遍历表，计算psi@-1、psi@-6总共需要4次遍历表，具体如下： 遍历当前周期获取分段segs； 根据分段segs遍历当前周期获取分段计数...； 根据分段segs遍历-1周期获取分段计数，计算psi@-1； 根据分段segs遍历-6周期获取分段计数，计算psi@-6。...-n周期的直方图分布h2； - 步骤三：由于“分割点”不一致，我们无法直接根据直方图计算PSI，因此对直方图进行分割，使得当前周期直方图和上一周期直方图的分割点一致，取h1、h2直方图分割点的并集作为新分割点
第一范式（1NF）第一范式要求关系型数据库中的每个列都必须是原子的，即每列的值不能再分解成其他几列。这意味着每个列中不能包含多个值或多个重复的值。如果存在多个值，应该拆分成多个列或多个表。...第二范式（2NF）第二范式在第一范式的基础上，进一步要求每列数据完全依赖于主键。如果表中存在非主键部分依赖（即某些字段只依赖于主键的一部分），就不符合第二范式。...为了满足第二范式，应将非主键部分依赖的字段抽取出来，建立新的表，并使用外键关联。第三范式（3NF）第三范式在第二范式的基础上，要求表中的非主键字段不依赖于其他非主键字段。...定期备份和恢复：定期进行数据库备份，并测试备份数据的完整性和可恢复性。5. 硬件和网络优化使用高性能的硬件设备：选择性能强大的服务器和存储设备，提高数据库的处理能力和响应速度。...MySQL数据库优化看这一篇就够了（最全干货篇） - 知乎SQL优化最干货总结 - MySQL（2020最新版） - 知乎以上是我对数据库三范式和数据库优化方面经验的介绍，希望对您有所帮助。
如果建立的是复合索引，索引的字段顺序要和这些关键字后面的字段顺序一致，否则索引不会被使用。 7) 对于那些查询中很少涉及的列，重复值比较多的列不要建立索引。...如果非聚集索引页中包括了聚集索引键和其它两列(SalesDate,，SalesPersonID)的值，SQL Server引擎可能不会执行上面的第3和4步，直接从非聚集索引树查找ProductID列速度还会快一些...，但覆盖索引中包括过多的列也不行，因为覆盖索引列的值是存储在内存中的，这样会消耗过多内存，引发性能下降。 ...一般来说： ①.有大量重复值、且经常有范围查询（between, >,=,的列，可考虑建立群集索引； ②.经常同时存取多列，且每列都含有重复值可考虑建立组合索引...我们期望它会根据每个or子句分别查找，再将结果相加，这样可以利用id_no上的索引； 但实际上（根据showplan）,它却采用了"OR策略"，即先取出满足每个or子句的行，存入临时数据库的工作表中，再建立唯一索引以去掉重复行
它对数据库进行统一的管理和控制，以保证数据库的安全性和完整性。用户通过 DBMS 访问数据库中的数据，数据库管理员也通过 dbms 进行数据库的维护工作。...根据存储模型可将数据库划分为关系型数据库和非关系型数据库。关系型数据库是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据。...1NF:是指数据库表的每一列都是不可分割的基本数据项，同一列中不能有多个值，即实体中的某个属性不能有多个值或者不能有重复的属性。...如果出现重复的属性，就可能需要定义一个新的实体，新的实体由重复的属性构成，新实体与原实体之间为一对多关系。在第一范式（1NF）中表的每一行只包含一个实例的信息。...为实现区分通常需要为表加上一个列，以存储各个实例的唯一标识。即第二范式就是非主属性非部分依赖于主键。 3NF:必须先满足第二范式（2NF）。
DAX中包含的计数函数有： COUNT()函数，对列中值的数量进行计数，除了布尔型； COUNTA函数，对列中值的数量进行计数，包含布尔型； COUNTBLANK()函数，返回列中空单元格的计数； COUNTROWS...()函数，返回表中行的计数； DISTINCTCOUNT()函数，返回列中值的不重复计数，包含空单元格。...我们曾经讲过普通的数据透视表无法进行非重复计数，而基于Power Pivot数据模型的数据透视表，更改汇总方式时不重复计数是可用的，其背后的原始其实是因为DISTINCTCOUNT()函数的存在。...该函数对于列中的同一个值仅计算一次。 二、对行计数 COUNTROWS()函数与其他计数函数不同点之一就是它接受的参数是表。而其他计数函数接受的参数都是列。...COUNTROWS()函数对表中的行进行计数，不管行中是否有空值，都会计算一次。大多数情况下它与COUNT()函数都是可以互相替代使用的。具体选择哪个函数需要视业务情况决定。
5.1 三范式 经过研究和对使用中的问题的总结，对于设计数据库提出了一些规范，这些规范称为范式。...5.1.2 第一范式：保证每列的原子性 第一范式是最基本的范式。如果数据库表中的所有字段值都是不可分解的原子值，就说明该数据库满足了第一范式。 ...或者看下面例子： 第一个表中，主键是允许有多个的；但是洗发水依赖于产品ID，不符合除主键外全部字段依赖主键；改成下面即可 5.1.3 第三范式----保证每列都和主键直接相关 首先是2NF，另外非主键列必须直接依赖于主键...，不能存在传递依赖，即不能存在:非主键列A依赖于非主键列B，非主键列B依赖于主键的情况。 ...中间的表称谓聚合表 总结：设计数据库，先满足范式；在考虑是一对一，一对多，多对多的对应。
如果建立的是复合索引，索引的字段顺序要和这些关键字后面的字段顺序一致，否则索引不会被使用。 7) 对于那些查询中很少涉及的列，重复值比较多的列不要建立索引。...如果非聚集索引页中包括了聚集索引键和其它两列(SalesDate,，SalesPersonID)的值，SQL Server引擎可能不会执行上面的第3和4步，直接从非聚集索引树查找ProductID列速度还会快一些...，但覆盖索引中包括过多的列也不行，因为覆盖索引列的值是存储在内存中的，这样会消耗过多内存，引发性能下降。...一般来说： ①.有大量重复值、且经常有范围查询（between, >,=,的列，可考虑建立群集索引； ②.经常同时存取多列，且每列都含有重复值可考虑建立组合索引...我们期望它会根据每个or子句分别查找，再将结果相加，这样可以利用id_no上的索引； 但实际上（根据showplan）,它却采用了"OR策略"，即先取出满足每个or子句的行，存入临时数据库的工作表中，再建立唯一索引以去掉重复行
如果定义了该字段，插入操作会自动将命名空间范围的RowVersion计数器中的整数插入到该字段中。更新操作使用当前命名空间范围的RowVersion计数器值自动更新此整数。...插入序列值SERIAL Values 插入操作可以为具有串行数据类型的字段指定下列值之一，结果如下： 无值、0(零)或非数字值： IRIS忽略指定值，改为将此字段的当前串行计数器值递增1，并将生成的整数插入到该字段中...如果希望序列字段值是唯一的，则必须对该字段应用唯一约束。 插入计算值 使用COMPUTECODE定义的字段可以在INSERT操作中插入值，除非对该字段进行了计算。...第二次调用失败，返回SQLCODE-119。 默认值为计数器字段插入具有系统生成的整数值的行。这些字段包括RowID、可选的标识字段、序列号(%Counter)字段和ROWVERSION字段。...定义这些表的持久化类是否为Final对将数据复制到复制表中没有任何影响。 此操作可用于将现有数据复制到重新定义的表中，该表将接受在原始表中无效的未来列数据值。
df.dropna(how='all')# 一行中全部为NaN的，才丢弃该行 df.dropna(thresh=3)# 每行至少3个非空值才保留 缺失值填充fillna() df.fillna(0)...df.fillna({1:0,2:0.5}) #对第一列nan值赋0，第二列赋值0.5 df.fillna(method='ffill') #在列方向上以前一个值作为值赋给NaN 值替换replace(...1000:0}) 重复值处理duplicated()，unique()，drop_duplictad() df.duplicated()#两行每列完全一样才算重复，后面重复的为True，第一个和不重复的为...take_last=True)# 保留 k1和k2 组合的唯一值的行，take_last=True 保留最后一行 ---- 排序 索引排序 # 默认axis=0，按行索引对行进行排序；ascending...=True，升序排序 df.sort_index() # 按列名对列进行排序，ascending=False 降序 df.sort_index(axis=1, ascending=False) 值排序
在Excel中也有真和假，即TRUE和FALSE，TRUE对应1，FALSE对应0。 对一列根据条件进行不同赋值，如下： ?...计算并填充空值如下： ? 显然，要填充的值都是左边第二个数除以左边第一个数，所以能一次性计算出来。 但是很多时候，数据不是这么分布的，就得灵活应变，如下： ?...重复 很多时候会出现重复数据，这是可以对数据进行计数，如果计数大于1则说明出现了重复。 如下： ?...可以看到，数据为文本型数据，在进行计数时会根据前15为进行计数，因此在对A3、A11、A12进行计数时会重复，此时可以通过在后面连接通配符解决。...还可以限制输入重复数据，这是结合数据验证实现的，如下： ? 案例-报名统计 有一个联系人名单，其中有部分已报名，也有对应的名单，根据已报名名单对所有联系人名单进行统计，是否报名，如下： ?
聚合函数 常见的聚合函数有： COUNT：计数。 SUM：求和。 AVG：求平均值。 MAX：求最大值。 MIN：求最小值。...MAX、MIN MAX、MIN 分别求最大与最小值，上面不同的时，也可以作用于字符串上，因此可以根据字母判断大小，从大到小依次对应 a-z，但即便能算，也没有实际意义且不好理解，因此不建议对字符串求极值...GROUP BY a,b,c 查询结果第一列可能看到许多重复的 a 行，第二列看到重复 b 行，但在同一个 a 值内不会重复，c 在 b 行中同理。...GROUP BY + WHERE WHERE 是根据行进行条件筛选的。因此 GROUP BY + WHERE 并不是在组内做筛选，而是对整体做筛选。...GROUP BY + HAVING HAVING 是根据组进行条件筛选的。
-r：逆向排序-k：指定按哪一列排序-t：指定分隔符uniq：去除重复行 只能去除相邻的重复行!...FASTQ文件中，一个序列通常由四行组成：第一行：以 @ 开头，之后为序列的标识符以及描述信息第二行：为序列信息，如 ATCG第三行：以 + 开头，之后可以再次加上序列的标识及描述信息（保留行）第四行：...为碱基质量值，与第二行的序列相对应，长度必须与第二行相同。...6 score 这一列的值表示对该类型存在性和其坐标的可信度，不是必须的，可以用点“.”代替。7 strand 链的正向与负向，分别用加号+和减号-表示。8 frame 密码子偏移，可以是0、1或2。...6 score 这一列的值表示对该类型存在性和其坐标的可信度，不是必须的，可以用点“.”代替。7 strand 链的正向与负向，分别用加号+和减号-表示。“.”表示不需要指定正负链，“?”
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
腾讯会议
对象存储
云直播
