首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

pandas数据清洗,排序,索引设置,数据选取

df.dropna(how='all')# 一行中全部为NaN的,才丢弃该行 df.dropna(thresh=3)# 每行至少3个非空才保留 缺失填充fillna() df.fillna(0)...df.fillna({1:0,2:0.5}) #对第一列nan赋0,第二列赋值0.5 df.fillna(method='ffill') #在列方向上以前一个作为赋给NaN 替换replace(...) # 将df的A列中 -999 全部替换成空 df['A'].replace(-999, np.nan) #-999和1000 均替换成空 obj.replace([-999,1000], np.nan...) # -999替换成空,1000替换成0 obj.replace([-999,1000], [np.nan, 0]) # 同上,写法不同,更清晰 obj.replace({-999:np.nan,...进行排序,使用order(),默认空会置于尾部 s = pd.Series([4, 6, np.nan, 2, np.nan]) s.order() df.sort_values(by=['a','

3.2K20

基于Python数据分析之pandas统计分析

替补法 对于连续型变量,如果变量的分布近似或就是正态分布的话,可以用均值替代那些缺失;如果变量是有偏的,可以使用中位数来代替那些缺失;对于离散型变量,我们一般用众数去替换那些存在缺失的观测。...插补法 插补法是基于蒙特卡洛模拟法,结合线性模型、广义线性模型、决策树等方法计算出来的预测替换缺失。...df.dropna() #该操作会删除所有有缺失的行数据 ? df.dropna(how=’all’) #该操作仅会删除所有列均为缺失的行数据 ?...填充数据 使用一个常量来填补缺失,可以使用fillna函数实现简单的填补工作: 1、用0填补所有缺失 df.fillna(0) ?...2、采用前项填充或后向填充 df.fillna(method=’ffill’) #用前一个填充 ? df.fillna(method=’bfill’) #用后一个填充 ?

3.3K20

Python数据科学(六)- 资料清理(Ⅰ)1.Pandas1.资料筛选2.侦测遗失3.补齐遗失

().sum() # 计算所有缺失的数量 df.isnull().sum().sum() 分开计算每一栏缺失的数量 3.补齐遗失 处理缺失常规的有以下几种方法 舍弃缺失 这种情况适用于当缺失占数据比例很低时...使用平均数、中位数、众数等叙述性统计补齐缺失 使用内插法补齐缺失 如果字段数据成线性规律 1.舍弃缺失 舍弃含有任意缺失的行 df.dropna() 舍弃所有字段都含有缺失的行 df.dropna...axis为0和1时分别代表的含义(axis参数作用方向图示): 3.填补缺失 用0填补缺失 df.fillna(0) 用平均数缺失 df['age'].mean()是age这个字段平均值 df[...('mean'), inplace = True) 4.向前/向后填 向后填补缺失 df.fillna(method='pad') 向前填补缺失 df.fillna(method='bfill',...df[df['物业费'] == ‘暂无资料’, ‘物业费’] = np.nan # 在打开文件的时候,直接把暂无资料替换成缺失 df = pandas.read_csv('data/house_data.csv

2.2K30

pandas系列3_缺失处理和apply用法

知识点 空删除和填充 apply、applymap用法 shift()用法 value_counts()和mean():统计每个元素的出现次数和行(列)的平均值 缺失和空处理 概念 空:空就是没有任何...,"" 缺失:df中缺失nan或者naT(缺失时间),在S型数据中为none或者nan 相关函数 df.dropna()删除缺失 df.fillna()填充缺失 df.isnull() df.isna...:指定至少出现了thresh个才删除 subset:指定在某些列的子集中选择出现了缺失的列删除,不在子集中不会删除(axis决定行\列) inplace:刷选过缺失值得到的新数据是存为副本还是直接在原数据上进行修改...NaT 1 Batman Batmobile 1940-04-25 2 Catwoman Bullwhip NaT # 默认参数:删除行,只要有空就会删除,不替换 df.dropna() name...(subset=['name', 'born']) name toy born 1 Batman Batmobile 1940-04-25 df.fillna() 主要作用:填充缺失 DataFrame.fillna

1.3K20

小白也能看懂的Pandas实操演示教程(下)

只删除所有行为缺失的观测 df=pd.DataFrame([[1,1,2],[3,5,np.nan],[13,21,34],[55,np.nan,10], [np.nan...6.2 替补法 对于连续变量,如果变量的分布近似或就是正态分布的话,可以用均值替代那些缺失; 如果变量是有偏的,可以使用中位数来代替那些缺失; 对于离散型变量,一般使用众数去替换那些存在缺失的预测...inplace:修改调用这对象而不产生副本 limit:(对于前向和后项填充)可以连续填充的最大数量 使用一个常量来填补缺失,可以使用fillna函数实现简单的填补工作 1.用0填补所有缺失 df.fillna...用后一个观测填充--这样会导致最后边的无法填充Nan df.fillna(method='bfill') ?...默认不替换 margins:是否进行行或列的汇总,默认不汇总 dropna:默认所有观测为缺失的列 margins_name:默认行汇总或列汇总的名称为‘ALL’ test_data.head() ?

2.4K20

快速介绍Python数据分析库pandas的基础知识和代码示例

“软件工程师阅读教科书作为参考时不会记住所有的东西,但是要知道如何快速查找重·要的知识点。” ? 为了能够快速查找和使用功能,使我们在进行机器学习模型时能够达到一定流程化。...在向append()添加python字典类型时,请确保传递ignore_index=True,以便索引不会被使用。...NaN(非数字的首字母缩写)是一个特殊的浮点所有使用标准IEEE浮点表示的系统都可以识别它 pandas将NaN看作是可互换的,用于指示缺失或空。...我们可以使用fillna()来填充缺失的。例如,我们可能想用0替换' NaN '。...replace_null = df.fillna(0) # Replace all null values with 0 ? 或者用平均值替换NaN

8.1K20
领券