文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

python数据分析——数据的选择和运算

可以采用arr<=15得到的布尔值作为索引，将小于或者等于15的数归零。具体程序代码如下所示： 2....ignore_index-布尔值，默认为False。如果为True,则不要使用连接轴上的索引值。生成的轴将标记为0…, n-1。 join_axes-这是索引对象的列表。...关键技术: mode()函数实现行/列数据均值计算。 分位数运算 分位数是以概率依据将数据分割为几个等分,常用的有中位数(即二分位数)、四分位数、百分位数等。...：仅数字，布尔型，默认值为True interpolation：内插值，可选参数，用于指定要使用的插值方法，当期望的分位数为数据点i~j时。...首先使用quantile()函 数计算35%的分位数,然后将学生成绩与分位数比较，筛选小于等于分位数的学生,程 序代码如下： 五、数值排序与排名 Pandas也为Dataframe实例提供了排序功能

12510

数据预处理的 10 个小技能，附 Pandas 实现

找出异常值常用两种方法： 标准差法：异常值平均值上下1.96个标准差区间以外的值 分位数法：小于 1/4分位数减去 1/4和3/4分位数差的1.5倍，大于3/4减去 1/4和3/4分位数差的1.5倍，都为异常值...使用函数 fillna: # 使用a列平均数填充列的空值，inplace true表示就地填充 df["a"].fillna(df["a"].mean(), inplace=True) 技能5：修复不合适值...假如某门课最高分100，如果出现 -2， 120 这样的值，显然不合理，使用布尔类型的Series对象修改数值： df.loc[(df['a'] < -2,'a')] = 0 df.loc[(df['...a'] >= 100,'a')] = 100 技能6：过滤重复值 过滤某列重复值，使用 drop_duplicated 方法，第一个参数为列名，keep关键字等于last：最后一次出现此值行： df.drop_duplicates...，分别找到对应pandas中的实现。

83710
您找到你想要的搜索结果了吗？
是的
没有找到

对比Excel，一文掌握Pandas表格条件格式（可视化）

突出显示单元格 在Excel条件格式中，突出显示单元格规则提供的是大于、小于、等于以及重复值等内置样式，不过在Pandas中这些需要通过函数方法来实现，我们放在后续介绍。...，有两种方法：①将这一列设置为索引(这里不做演示），②采用subset指定 指定颜色为灰色 显示全部最大值 那么，Excel如何显示最大值呢？...这里我们以显示全部最大值为例展开介绍，逻辑如下： 通过函数MAX获取数据区域的最大值 然后编辑格式满足单元格值等于这个最大值即可 操作为：选中数据区域，进行条件格式设置->编辑格式规则 具体规则如下图：...CSS属性，案例中我们将待高亮的部分显示为字体颜色-白色，背景色-紫色 金牌数区间[20, 30]、银牌数区间[10, 20]、铜牌数区间[5, 10] 2.5..... thousands用作浮点数、复数和整数的千位分隔符的字符 escape用于特殊格式输出（如html、latex等，这里不做展开，可参考官网） 比如，我们给数据加上单位枚，缺失值显示为无 设置小数点位数为

5K20

利用Pandas库实现Excel条件格式自动化

突出显示单元格 在Excel条件格式中，突出显示单元格规则提供的是大于、小于、等于以及重复值等内置样式，不过在Pandas中这些需要通过函数方法来实现，我们放在后续介绍。...，有两种方法：①将这一列设置为索引(这里不做演示），②采用subset指定 指定颜色为灰色 显示全部最大值 那么，Excel如何显示最大值呢？...这里我们以显示全部最大值为例展开介绍，逻辑如下： 通过函数MAX获取数据区域的最大值 然后编辑格式满足单元格值等于这个最大值即可 操作为：选中数据区域，进行条件格式设置->编辑格式规则 具体规则如下图：...CSS属性，案例中我们将待高亮的部分显示为字体颜色-白色，背景色-紫色 金牌数区间[20, 30]、银牌数区间[10, 20]、铜牌数区间[5, 10] 2.5..... thousands用作浮点数、复数和整数的千位分隔符的字符 escape用于特殊格式输出（如html、latex等，这里不做展开，可参考官网） 比如，我们给数据加上单位枚，缺失值显示为无 设置小数点位数为

6K41

在Python里，用股票案例讲描述性统计分析方法（内容来自我的书）

通俗地讲，在样本数据里，有一半的样本比中位数大，有一半比它小。 把中位数的概念扩展一下，即可得到百分位数。比如第25百分位数则表示，样本数据里，有25%的数据小于等于它，而75%的数据大于它。...理解概念后，在如下的CalAvgMore.py范例中，将以股票收盘价为例，演示平均数、中位数和四分位数的求法。...Pandas库的DataFrame对象已经封装了求各种统计数据的方法，具体而言，能通过第5行的mean方法求平均值，在调用时，还可以用诸如df['Close']的样式，指定针对哪列数据计算。...在如下的BoxPlotDemo.py范例中，将还是以股票收盘价为例，展示箱状图的绘制技巧，从中大家能进一步了解分位数的概念。...在如下的CalAlias.py范例中，将演示这三个值的获取方式。

1.3K10

30 个小例子帮你快速掌握Pandas

inplace参数设置为True以保存更改。我们删除了4列，因此列数从14减少到10。 2.读取时选择特定的列 我们只打算读取csv文件中的某些列。读取时，列列表将传递给usecols参数。...例如，thresh = 5表示一行必须具有至少5个不可丢失的非丢失值。缺失值小于或等于4的行将被删除。 DataFrame现在没有任何缺失值。...17.设置特定的列作为索引 我们可以将DataFrame中的任何列设置为索引。 df_new.set_index('Geography') ?...考虑上一步（df_new）中的DataFrame。我们希望将小于6的客户的Balance设置为0。...在计算元素的时间序列或顺序数组中的变化百分比时很有用。 ? 从第一元素（4）到第二元素（5）的变化为％25，因此第二个值为0.25。

10.6K10

6-比较掩码布尔

当您要基于某些条件提取，修改，计数或以其他方式操纵数组中的值时，就会出现屏蔽：例如，您可能希望对大于某个值的所有值进行计数，或者可能删除高于某个值的所有异常值阈。...3的数量,也可以使用np.sum(x<=3) In [33]: np.count_nonzero(x<=3) Out[33]: 5 用sum汇总的一个好处是可以根据行或者列来汇总 # 根据列汇总 In...布尔运算符 我们已经看到了如何计算，例如，降雨少于四英寸的所有日子，或降雨大于两英寸的所有日子。但是，如果我们想知道降雨小于四英寸且大于一英寸的全天，该怎么办？...这是通过Python的按位逻辑运算符＆，|，^和〜完成的。与标准算术运算符一样，NumPy将这些重载为ufunc，它们在（通常为Boolean）数组中逐个元素地工作。...从前面返回x数组，假设我们想要一个数组，该数组的所有值都小于5，例如： In [65]: x Out[65]: array([[1, 6, 0], [3, 3, 8], [

1.4K00

pandas技巧4

删除所有包含空值的行 df.dropna(axis=1) # 删除所有包含空值的列 df.dropna(axis=1,thresh=n) # 删除所有小于n个非空值的行 df.fillna(value=...，可接受列表参数，即设置多个索引 df.reset_index("col1")# 将索引设置为col1字段，并将索引新设置为0,1,2... df.rename(index=lambda x: x +...axis=1,join='inner') # 将df2中的列添加到df1的尾部,值为空的对应行与对应列都不要 df1.join(df2.set_index(col1),on=col1,how='inner...') # 对df1的列和df2的列执行SQL形式的join，默认按照索引来进行合并，如果df1和df2有共同字段时，会报错，可通过设置lsuffix,rsuffix来进行解决，如果需要按照共同列进行合并...() # 返回每一列的最小值 df.median() # 返回每一列的中位数 pd.date_range('1/1/2000', periods=7) df.std() # 返回每一列的标准差

3.4K20

2022-03-18：arr数组长度为n, magic数组长度为m 比如 arr = { 3, 1, 4, 5, 7 }，如果完全不改变arr中的值， 那么收益

2022-03-18：arr数组长度为n, magic数组长度为m 比如 arr = { 3, 1, 4, 5, 7 }，如果完全不改变arr中的值， 那么收益就是累加和 = 3 + 1 + 4 + 5...+ 7 = 20 magicsi = {a,b,c} 表示arra~b中的任何一个值都能改成c 并且每一种操作，都可以执行任意次，其中 0 <= a <= b < n 那么经过若干次的魔法操作，你当然可能得到...arr的更大的累加和 返回arr尽可能大的累加和 n <= 10^7 m <= 10^6 arr中的值和c的范围 <= 10^12 答案2022-03-18： 线段树。...st.buildSingleQuery(n) for i := 0; i < n; i++ { ans += getMax(query[i], arr[i]) } return ans } // 为方法三特别定制的线段树...// 区间上维持最大值的线段树 // 支持区间值更新 // 为本道题定制了一个方法： // 假设全是单点查询，请统一返回所有单点的结果(一个结果数组，里面有所有单点记录) type SegmentTree3

71230

图解pandas的窗口函数rolling

如果使用int，数值表示计算统计量的观测值的数量即向前几个数据。如果是offset类型，表示时间窗口的大小min_periods：每个窗口内最少包含的观测值的数量，如果小于这个值的窗口，则结果为NA。...截取窗的各种函数。字符串类型，默认为None。on：可选参数；对于dataframe而言，指定要计算滚动窗口的列，值可以是dataframe中的列名。...2、3、4；均值为( 2 + 3 + 4) / 3 = 3以此类推…图片如果是移动之后求和，也是同样的道理：图片图片在这里需要注意的是：pandas或者numpy中的np.nan空值与其他数值相乘或者相加都是...min_periods必须小于等于window值In 9:data.rolling(3, min_periods=2).mean() # 基于min_periods 求平均 图片图片因为在第二个元素...所以我们需要手动将min_periods设置成: n-1图片具体的解释参考下面的图示：第一个元素0：排除第一个和最后一个元素后，均为NaN，均值为NaN第二个元素1：排除第一个和最后一个元素后，为NaN

2.3K30

数据可视化(3)-Seaborn系列 | 折线图lineplot()

，sex列中的值也归一化，现将其划分一下，大于0的设置为1，小于等于0的设置为0 df['sex']=df['sex'].apply(lambda x: fun(x)) #展示前5条数据 df[:5]...，sex列中的值也归一化，现将其划分一下，大于0的设置为1，小于等于0的设置为0 df['sex']=df['sex'].apply(lambda x: fun(x)) """ 案例1：绘制带有误差带的单线图...，sex列中的值也归一化，现将其划分一下，大于0的设置为1，小于等于0的设置为0 df['sex']=df['sex'].apply(lambda x: fun(x)) """ 案例2：绘制带有误差带的单线图...，sex列中的值也归一化，现将其划分一下，大于0的设置为1，小于等于0的设置为0 df['sex']=df['sex'].apply(lambda x: fun(x)) """ 案例3：设置hue为sex...，sex列中的值也归一化，现将其划分一下，大于0的设置为1，小于等于0的设置为0 df['sex']=df['sex'].apply(lambda x: fun(x)) """ 案例5：使用标记来标识组

24.6K11

单变量分析 — 简介和实施

例如，如果我们掷骰子12次，得到以下结果： [1, 3, 6, 6, 4, 5, 2, 3, 3, 6, 5, 1] 然后1的发生频率是2，因为1在掷骰子中出现了两次。...问题3： 创建一个名为“class_verbose”的新列，将“class”列中的值替换为下表中定义的值。然后确定每个新类别存在多少实例，这应该与问题2的结果相匹配。...让我们在下一个问题中手动生成一些值以进行练习。 问题5： 返回数据集的“alcohol”列的以下值：均值、标准差、最小值、第25、50和75百分位数以及最大值。...箱子显示了数据的四分位数（即第25百分位数或Q1、第50百分位数或中位数和第75百分位数或Q3），而须（whiskers）显示了分布的其余部分，除了被确定为离群值的部分，离群值被定义为超出Q1或Q3以下...问题9： 创建一个名为“malic_acid_level”的新列，将“malic_acid”列的值分解为以下三个段落： 从最小值到第33百分位数 从第33百分位数到第66百分位数 从第66百分位数到最大值

14610

精品教学案例 | 金融贷款数据的清洗

查看数据中缺失值数量所占总数据量的百分比，从而使结果更加直观，以便进一步处理缺失值。 创建一个新的DataFrame数据表来存储每列数据中缺失值所占的百分比。...由于数据列过多，选取缺失值占总数据百分比大于0.01%，小于80%的列名及其数值显示到图上。...，可以发现缺失值比例在（0.01%，80%）的列中，除3列数据缺失值在56%以上，其余列数据的缺失值均小于17%，故可以简单认为在此数据集中缺失值在56%以上的数据列提供信息有限，故将缺失百分比56%以上的列数据全部删除...:",null_index) 在interpolate函数中，将method参数设置为polynomial代表多项式插值，进一步将order参数设置为2，代表使用二次多项式插值。...，将method参数设置为spline，将order参数设置为3。

4.4K21

Python中字段抽取、字段拆分、记录抽取

1、字段抽取 字段抽取是根据已知列数据的开始和结束位置，抽取出新的列 字段截取函数：slice(start,stop) 注意：和数据结构的访问方式一样，开始位置是大于等于，结束位置是小于。...，拆分已有字符串 字符分割函数：split(sep,n,expand=False) #类似于excel中的分列功能 参数说明 ① sep   用于分割的字符串 ② n       分割为多少列（不分割n...=0,分割为两列n=1,以此类推） ③expand 是否展开为数据框，默认为False,一般都设置为True 返回值 ① 如果expand为True，则返回DataFrame ② 如果expand为False...condition] #类似于excel里的过滤功能 参数说明 ① condition 过滤的条件 返回值 ① DataFrame 常用的条件类型 大于(>),小于(=),小于等于(<...(1)比较运算 (2)范围运算 between(left,right) (3)空值匹配 pandas.isnull(column) (4)字符匹配 (5)逻辑运算 与(&),或(|),取反(not) import

3.2K80

干货：用Python进行数据清洗，这7种方法你一定要掌握

以指定值填补 pandas数据框提供了fillna方法完成对缺失值的填补，例如对sample表的列score填补缺失值，填补方法为均值： >sample.score.fillna(sample.score.mean...盖帽法 盖帽法将某连续变量均值上下三倍标准差范围外的记录替换为均值上下三倍标准差值，即盖帽处理（图5-10）。 ? ▲图5-10：盖帽法处理噪声值示例 Python中可自定义函数完成盖帽法。...如下所示，参数x表示一个pd.Series列，quantile指盖帽的范围区间，默认凡小于百分之1分位数和大于百分之99分位数的值将会被百分之1分位数和百分之99分位数替代： >def cap(x,quantile...▲图5-11：未处理噪声时的变量直方图 对pandas数据框所有列进行盖帽法转换，可以以如下写法，从直方图对比可以看出盖帽后极端值频数的变化。...1.623684 6 1.723711 7 -0.225949 8 -0.213685 9 -0.309789 现分为5箱，可以看到，结果是按照宽度分为5份，下限中，cut函数自动选择小于列最小值一个数值作为下限

10.4K62

Pandas三百题

2 - pandas 个性化显示设置 1.显示全部列 pd.set_option('display.max_columns',None) 2.显示指定行/列 指定让 data 在预览时显示10列，7行...('display.max_colwidth',10) 5 修改小数点精度 修改默认显示精度为小数点后5位 pd.set_option('precision',5) 6 还原所有显示设置 还原上面的全部显示设置...0).fillna(0).max(axis=1) 12-数据增加|新增列（判断值） 新增一列 金牌大于30 如果一个国家的金牌数大于 30 则值为 是，反之为否 df['金牌大于30'] = df['金牌数...，查询 「类别」 等于 「办公用品」 的详情 ​ 10 -数据透视｜逆透视 逆透视就是将宽的表转换为长的表，例如将第 5 题的透视表进行逆透视，其中不需要转换的列为『数量』列 pd.pivot_table...将 df1 的索引设置为日期，将 df1 数据向后移动一天 df1.set_index(['日期']).shift(1) 25 - 日期重采样｜日 -> 周 按周对 df1 进行重采样，保留每周最后一个数据

4.6K22

数据导入与预处理-第5章-数据清理

在这一环节中，我们主要通过一定的检测与处理方法，将良莠不齐的“脏”数据清理成质量较高的“干净”数据。pandas为数据清理提供了一系列方法，本章将围绕这些数据清理方法进行详细地讲解。...缺失值的常见处理方式有三种：删除缺失值、填充缺失值和插补缺失值，pandas中为每种处理方式均提供了相应的方法。...–将全部重复值所在的行筛选出来： # 查找重复值 # 将全部重复值所在的行筛选出来 df[df.duplicated()] 输出为： 查找重复值｜指定列 ： # 查找重复值｜指定 # 上面是所有列完全重复的情况...Q3表示上四分位数，说明全部检测值中有四分之一的值比它大；Q1表示下四分位数，说明全部检测值中有四分之一的值比它小；IQR表示四分位数间距，即上四分位数Q3与下四分位数Q1之差，其中包含了一半检测值；空心圆点表示异常值...第二组数的中位数为Q3；当数据的总数量为奇数时，中位数会将数据集划分为个数相等（每组有 (n-1)/2 个）的两组数，其中第一组数的中数为Q1，第二组数的中数为Q3。

4.4K20

Pandas速查手册中文版

（1）官网： Python Data Analysis Library （2）十分钟入门Pandas： 10 Minutes to pandas 在第一次学习Pandas的过程中，你会发现你需要记忆很多的函数和方法...1)：删除所有包含空值的列 df.dropna(axis=1,thresh=n)：删除所有小于n个非空值的行 df.fillna(x)：用x替换DataFrame对象中所有的空值 s.astype(float...)：将Series中的数据类型更改为float类型 s.replace(1,'one')：用‘one’代替所有等于1的值 s.replace([1,3],['one','three'])：用'one'代替...中的每一行应用函数np.max 数据合并 df1.append(df2)：将df2中的行添加到df1的尾部 df.concat([df1, df2],axis=1)：将df2中的列添加到df1的尾部 df1...df.corr()：返回列与列之间的相关系数 df.count()：返回每一列中的非空值的个数 df.max()：返回每一列的最大值 df.min()：返回每一列的最小值 df.median()：返回每一列的中位数

12.1K92
点击加载更多

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

更多标签

活动推荐

    运营活动

    活动名称
    广告关闭

    腾讯云开发者

    扫码关注腾讯云开发者

    扫码关注腾讯云开发者

    领取腾讯云代金券

    热门产品

    热门推荐

    更多推荐

    Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

    深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

    腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287

    领券