文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗？
是的
没有找到

我的Python分析成长之路9

pandas入门 统计分析是数据分析的重要组成部分，它几乎贯穿整个数据分析的流程。运用统计方法，将定量与定性结合，进行的研究活动叫做统计分析。而pandas是统计分析的重要库。...1.Series:Series是一种一维的数组型对象，它包含一个值序列，并含有数据标签。...(group.median()) #返回每组的中位数 15 print(group.cumcount()) #对每个分组中的成员进行标记 16 print(group.size()) #返回每个分组的大小...(group.median()) #返回每组的中位数 14 print(group.cumcount()) #对每个分组中的成员进行标记 15 print(group.size()) #返回每个分组的大小...返回每组的中位数 print(group.cumcount()) #对每个分组中的成员进行标记 print(group.size()) #返回每个分组的大小 print(group.min())

2.1K11

Pandas速查卡-Python数据科学

按升序对值排序 df.sort_values(col2,ascending=False) 将col2按降序对值排序 df.sort_values([col1,ascending=[True,False]...) 将col1按升序排序，然后按降序排序col2 df.groupby(col) 从一列返回一组对象的值 df.groupby([col1,col2]) 从多列返回一组对象的值 df.groupby(col1...=max) 创建一个数据透视表，按col1分组并计算col2和col3的平均值 df.groupby(col1).agg(np.mean) 查找每个唯一col1组的所有列的平均值 data.apply(...df.describe() 数值列的汇总统计信息 df.mean() 返回所有列的平均值 df.corr() 查找数据框中的列之间的相关性 df.count() 计算每个数据框的列中的非空值的数量 df.max...() 查找每个列中的最大值 df.min() 查找每列中的最小值 df.median() 查找每列的中值 df.std() 查找每个列的标准差 点击“阅读原文”下载此速查卡的打印版本 END.

9.2K80

Pandas入门（二）

首先我们还是随机产生一个数据表，5行3列的数据框。保存到csv文件并读取。...首先介绍一下如何对数据框进行排序，总的来说，pandas提供两种排序方法，一个是根据索引值排序，一个是根据数据框中某一列或者某一行排序，这个就和Excel中的排序是一样的，但是它排序的结果是扩展到整个数据表的...，如果要按照某一行或者列的最大值来排序，该怎么做。...首先我们新添加一列，用来求每一行的最大值。然后我们根据最大值降序排序就可以了。...=True, squeeze=False, **kwargs) 然后还是之前的数据，我们新添加一列，列名为key1，分组的意思就是将数据框以某种标志分为不同的组，这里选择key1作为分组依据，这样就分为了两组

1.2K50

Pandas必知必会的使用技巧，值得收藏！

作者：风控猎人 本期的主题是关于python的一个数据分析工具pandas的，归纳整理了一些工作中常用到的pandas使用技巧，方便更高效地实现数据分析。...，只要加上参数axis=1 2.获取分组里最大值所在的行方法 分为分组中有重复值和无重复值两种。...，然后对分组之后的数据框使用idxmax函数取出Count最大值所在的列，再用iloc位置索引将行取出。...[df["rank"] == 1][["ID", "class"]] 对ID进行分组之后再对分数应用rank函数，分数相同的情况会赋予相同的排名，然后取出排名为1的数据。...df = pd.DataFrame([['A',1],['A',3],['A',2],['B',5],['B',9]], columns = ['name','score']) 介绍两种高效地组内排序的方法

1.6K10

Python 离群点检测算法 -- KNN

其步骤包括计算每个数据点与其他数据点的距离，根据距离从小到大对数据点进行排序，然后选取前 K 个条目。常用的距离计算方法之一是欧氏距离。 步骤1：计算每个数据点与其他数据点的距离。...步骤2：根据距离从小到大对数据点进行排序。 步骤3：选取前 K 个条目。 计算两个数据点之间的距离有多种选择。最常用的是欧氏距离。...通过计算新数据点与其他数据点的距离并选取最近的 5 个邻居，算法进行了类别统计，然后采用多数投票规则来确定类别。...建模步骤 在建模过程中，步骤1要建立模型并识别离群值。步骤2选择一个阈值，将离群值和正常观测值分开。在步骤3中，使用各组的描述性统计量对两组进行分析，确保模型合理性。...接下来的代码将建立模型，并对训练数据和测试数据进行评分。每行的含义如下： label_：训练数据的标签向量，在训练数据上使用.predict()时也是如此。

14510

Pandas库常用方法、函数集合

Pandas是Python数据分析处理的核心第三方库，它使用二维数组形式，类似Excel表格，并封装了很多实用的函数方法，让你可以轻松地对数据集进行各种操作。...“堆叠”为一个层次化的Series unstack: 将层次化的Series转换回数据框形式 append: 将一行或多行数据追加到数据框的末尾 分组 聚合 转换 过滤 groupby：按照指定的列或多个列对数据进行分组...agg：对每个分组应用自定义的聚合函数 transform：对每个分组应用转换函数，返回与原始数据形状相同的结果 rank：计算元素在每个分组中的排名 filter：根据分组的某些属性筛选数据 sum...、cumprod：计算分组的累积和、最小值、最大值、累积乘积 数据清洗 dropna: 丢弃包含缺失值的行或列 fillna: 填充或替换缺失值 interpolate: 对缺失值进行插值 duplicated...: 替换字符串中的特定字符 astype: 将一列的数据类型转换为指定类型 sort_values: 对数据框按照指定列进行排序 rename: 对列或行进行重命名 drop: 删除指定的列或行 数据可视化

25110

一文介绍特征工程里的卡方分箱，附代码实现

它主要包括两个阶段：初始化阶段和自底向上的合并阶段。 1、初始化阶段： 首先按照属性值的大小进行排序（对于非连续特征，需要先做数值转换，比如转为坏人率，然后排序），然后每个属性值单独作为一组。...2、合并阶段： （1）对每一对相邻的组，计算卡方值。 （2）根据计算的卡方值，对其中最小的一对邻组合并为一组。...值得注意的是，小编之前发现有的实现方法在合并阶段，计算的并非相邻组的卡方值（只考虑在此两组内的样本，并计算期望频数），因为他们用整体样本来计算此相邻两组的期望频数。...x: 需要转换到分组的值 cutoffs: 各组的起始值。 return: x对应的组，如group1。从group1开始。 ''' #切分点从小到大排序。...归类到最后一组，如果不想这么简单粗暴的，需要在最开始的时候对缺失值进行填充。

3.8K20

七步搞定一个综合案例，掌握pandas进阶用法！

2.分组聚合 按照需求，需要计算每个城市每个子类别下产品的销售总量，因此需要按照city和sub_cate分组，并对amt求和。为计算占比，求得的和还需要和原始数据合在一块作为新的一列。...第二种是排序之后，改变数据的实际顺序。我们使用lambda函数实现：对每个分组按照上一步生成的rank值，升序排列。...这里需要对每组内按行进行遍历，用到了iterrows函数，并判断cum_pct与50%，group_rank与3的关系。我们自定义一个函数来实现。...= num break return res 调用该函数之后，对每个组能得到符合条件的目标group_rank值，如下面代码和图片所示： data_target_rank...上图第三列就是我们需要的目标group_rank值，注意先要把默认的名字改过来，并将此结果与原始数据做一个合并。在此基础上，就可以将每组内不超过目标group_rank值的行筛选出来。

2.4K40

玩转Pandas，让数据处理更easy系列6

01 系列回顾 玩转Pandas系列已经连续推送5篇，尽量贴近Pandas的本质原理，结合工作实践，按照使用Pandas的逻辑步骤，系统地并结合实例推送Pandas的主要常用功能，已经推送的5篇文章：...03 Groupby:分-治-合 group by具体来说就是分为3步骤，分-治-合，具体来说： 分：基于一定标准，splitting数据成为不同组 治：将函数功能应用在每个独立的组上 合：收集结果到一个数据结构上...分和合按照字面理解就可，但是“治”又是怎么理解，进一步将治分为3件事： 聚合操作，比如统计每组的个数，总和，平均值 转换操作，对每个组进行标准化，依据其他组队个别组的NaN值填充 过滤操作，忽略一些组...的get_group可以取得对应的组内行，如下图所示， agroup = df.groupby('A') agroup.get_group('foo') ?...如想下载以上代码，请后台回复： pandas 小编对所推文章分类整理，欢迎后台回复数字，查找感兴趣的文章： 1. 排序算法 2. 图算法(含树) 3. 动态规划 4.

2.7K20

Machine Learning-特征工程之卡方分箱（Python）

它主要包括两个阶段：初始化阶段和自底向上的合并阶段。 1、初始化阶段： 首先按照属性值的大小进行排序（对于非连续特征，需要先做数值转换，比如转为坏人率，然后排序），然后每个属性值单独作为一组。...2、合并阶段： （1）对每一对相邻的组，计算卡方值。 （2）根据计算的卡方值，对其中最小的一对邻组合并为一组。...值得注意的是，小编之前发现有的实现方法在合并阶段，计算的并非相邻组的卡方值（只考虑在此两组内的样本，并计算期望频数），因为他们用整体样本来计算此相邻两组的期望频数。...x: 需要转换到分组的值 cutoffs: 各组的起始值。 return: x对应的组，如group1。从group1开始。 ''' #切分点从小到大排序。...归类到最后一组，如果不想这么简单粗暴的，需要在最开始的时候对缺失值进行填充。

5.7K20

数据分析之Pandas分组操作总结

之前介绍过索引操作，现在接着对Pandas中的分组操作进行介绍：主要包含SAC含义、groupby函数、聚合、过滤和变换、apply函数。...其中split指基于某一些规则，将数据拆成若干组；apply是指对每一组独立地使用函数；combine指将每一组的结果组合成某一类数据结构。...2. apply过程 在apply过程中，我们实际往往会遇到四类问题： 整合(Aggregation)：即分组计算统计量（如求均值、求每组元素个数）； 变换(Transformation)：即分组对每个单元的数据进行操作...变换（Transformation）：即分组对每个单元的数据进行操作（如元素标准化）：输入的是每组数据，输出是每组数据经过某种规则变换后的数据,不改变数据的维度。...以重量分组(0-0.5,0.5-1,1-1.5,1.5-2,2+)，按递增的深度为索引排序，求每组中连续的严格递增价格序列长度的最大值。

7.5K41

特征锦囊：一文介绍特征工程里的卡方分箱，附代码实现

它主要包括两个阶段：初始化阶段和自底向上的合并阶段。 1、初始化阶段： 首先按照属性值的大小进行排序（对于非连续特征，需要先做数值转换，比如转为坏人率，然后排序），然后每个属性值单独作为一组。...2、合并阶段： （1）对每一对相邻的组，计算卡方值。 （2）根据计算的卡方值，对其中最小的一对邻组合并为一组。...值得注意的是，阿Sam之前发现有的实现方法在合并阶段，计算的并非相邻组的卡方值（只考虑在此两组内的样本，并计算期望频数），因为他们用整体样本来计算此相邻两组的期望频数。...x: 需要转换到分组的值 cutoffs: 各组的起始值。 return: x对应的组，如group1。从group1开始。 ''' #切分点从小到大排序。...归类到最后一组，如果不想这么简单粗暴的，需要在最开始的时候对缺失值进行填充。

2.6K20

MySQL（五）汇总和分组数据

②获得表中行组的和 ③找出表列（或所有行或某些特定的行）的最大值、最小值和平均值 聚集函数（aggregate function）：运行在行组上，计算和返回单个值的函数（MySQL还支持一些列的标准偏差聚集函数...; 这条SQL语句中国返回products表中price列的最大值； PS：MySQL允许max（）用来返回任意列中的最大值，包括返回文本列的最大值；但用于文本数据时，如果数据按相应的列排序，则max（...products group by vend_id; 这条SQL语句指定了2个列，group by指示MySQL按照vend_id排序并且分组（如果使用group by，则不必指定要计算的每个组） group...by子句指示指示MySQL分组数据，然后都每个组而不是整个结果集进行聚集；关于group by使用，请注意以下规则： ①group by子句可以包含任意数目的列（使得对分组进行嵌套，为数据分组提供更细致的控制...）； ②如果在group by子句中嵌套分组，数据将在最后规定的分组上进行汇总，即：建立分组时，指定的所有列都一起计算（所以不能从个别列取回数据）； ③group by子句中列出的每个列都必须是检索列或有效的表达式

4.7K20
点击加载更多

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

更多标签

活动推荐

    运营活动

    活动名称
    广告关闭

    腾讯云开发者

    扫码关注腾讯云开发者

    扫码关注腾讯云开发者

    领取腾讯云代金券

    热门产品

    热门推荐

    更多推荐

    Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

    深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

    腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287

    领券