Excel中查看空值的方法是使用“定位条件”在“开始”目录下的“查找和选择”目录. ?...1.处理空值(删除或填充) Excel中可以通过“查找和替换”功能对空值进行处理 ?...4.数据分组 Excel中可以通过VLOOKUP函数进行近似匹配来完成对数值的分组，或者使用“数据透视表”来完成分组 Python中使用Where函数用来对数据进行判断和分组 #如果price列的值>3000...在前面的代码后面增加city列，并使用count函数进行计数。...，Python中使用的主要函数是groupby和pivot_table。
它不仅提供了很多方法和函数，使得处理数据更容易；而且它已经优化了运行速度，与使用Python的内置函数进行数值数据处理相比，这是一个显著的优势。...按降序对值排序 df.sort_values([col1,ascending=[True,False]) 将col1按升序排序，然后按降序排序col2 df.groupby(col) 从一列返回一组对象的值...df.groupby([col1,col2]) 从多列返回一组对象的值 df.groupby(col1)[col2] 返回col2中的值的平均值，按col1中的值分组（平均值可以用统计部分中的几乎任何函数替换...） df.pivot_table(index=col1,values=[col2,col3],aggfunc=max) 创建一个数据透视表，按col1分组并计算col2和col3的平均值 df.groupby...() 查找每个列中的最大值 df.min() 查找每列中的最小值 df.median() 查找每列的中值 df.std() 查找每个列的标准差 点击“阅读原文”下载此速查卡的打印版本 END.
df.iloc[0,0]：返回第一列的第一个元素 数据清理 df.columns = ['a','b','c']：重命名列名 pd.isnull()：检查DataFrame对象中的空值，并返回一个Boolean...数组 pd.notnull()：检查DataFrame对象中的非空值，并返回一个Boolean数组 df.dropna()：删除所有包含空值的行 df.dropna(axis=1)：删除所有包含空值的列...df.dropna(axis=1,thresh=n)：删除所有小于n个非空值的行 df.fillna(x)：用x替换DataFrame对象中所有的空值 s.astype(float)：将Series中的数据类型更改为...')：更改索引列 df.rename(index=lambda x: x + 1)：批量重命名索引 数据处理：Filter、Sort和GroupBy df[df[col] > 0.5]：选择col列的值大于...(index=col1, values=[col2,col3], aggfunc=max)：创建一个按列col1进行分组，并计算col2和col3的最大值的数据透视表 df.groupby(col1).
数据插入 说明：在指定位置插入指定数据 Excel 在Excel中我们可以将光标放在指定位置并右键增加一行/列，当然也可以在添加时对数据进行一些计算，比如我们就可以使用IF函数(=IF(G2>10000...缺失值处理 说明：对缺失值(空值)按照指定要求处理 Excel 在Excel中可以按照查找—>定位条件—>空值来快速定位数据中的空值，接着可以自己定义缺失值的填充方式，比如将缺失值用上一个数据进行填充...Pandas 在Pandas中对数据进行分组计算可以使用groupby轻松搞定，比如使用df.groupby("学历").mean()一行代码即可对示例数据的学历进行分组并求不同学历的平均薪资，结果与Excel...Pandas 在pandas中也有现成的函数describe快速完成对数据的描述性统计，比如使用df["薪资水平"].describe()即可得到薪资列的描述性统计结果 ?...数据可视化 说明：对数据进行可视化 Excel 在Excel中可以通过点击插入并选择图表来快速完成对数据的可视化，比如制作薪资的直方图，并且有很多样式可以直接使用 ?
并返回一个Boolean数组 pd.notnull() # 检查DataFrame对象中的非空值，并返回一个Boolean数组 df.dropna() # 删除所有包含空值的行 df.dropna(axis...=1) # 删除所有包含空值的列 df.dropna(axis=1,thresh=n) # 删除所有小于n个非空值的行 df.fillna(value=x) # 用x替换DataFrame对象中所有的空值...1的值 s.replace([1,3],['one','three']) # 用'one'代替1，用'three'代替3 df.rename(columns=lambda x: x + 1) # 批量更改列名...col3的最大值、最小值的数据透视表 df.groupby(col1).agg(np.mean) # 返回按列col1分组的所有列的均值,支持df.groupby(col1).col2.agg(['min...np.max df.groupby(col1).col2.transform("sum") # 通常与groupby连用，避免索引更改 数据合并 df1.append(df2) # 将df2中的行添加到
还可以使用 skiprows 参数从文件末尾选择行。Skiprows=5000 表示我们将在读取 csv 文件时跳过前 5000 行。...missing_index = np.random.randint(10000, size=20) 我们将使用 loc 将某些值更改为 np.nan（缺失值）。...8.删除缺失值 处理缺失值的另一个方法是删除它们。以下代码将删除具有任何缺失值的行。...我们可以通过重置索引来更改它。 print(df_summary.reset_index()) ? 16.重置并删除原索引 在某些情况下，我们需要重置索引并同时删除原始索引。...但是，它可能会导致不必要的内存使用，尤其是当分类变量具有较低的基数。 低基数意味着列与行数相比几乎没有唯一值。例如，地理列具有 3 个唯一值和 10000 行。
并返回一个 Boolean 数组 pd.notnull() # 检查DataFrame对象中的非空值，并返回一个 Boolean 数组 df.drop(['name'], axis=1) # 删除列 df.drop...([0, 10], axis=0) # 删除行 del df['name'] # 删除列 df.dropna() # 删除所有包含空值的行 df.dropna(axis=1) # 删除所有包含空值的列...':'未知'}) # 指定列的空值替换为指定内容 s.astype(float) # 将Series中的数据类型更改为 float 类型 df.index.astype('datetime64[ns]'...不能指定行，如：df[100] df[:100] # 只取指定行 df1 = df.loc[0:, ['设计师ID', '姓名']] # 将ages平分成5个区间并指定 labels ages = np.array...gb, by='team') # 窗口计算 '2s' 为两秒 df.rolling(2).sum() # 在窗口结果基础上的窗口计算 df.expanding(2).sum() # 超出（大于、小于）的值替换成对应值
由于数据是以这种方式构造的，因此我们可以将idxmax方法应用于数据的每一行，以找到具有最大值的列。 我们需要使用axis参数更改其默认行为。...以下四个伪代码块总结了使用groupby方法执行聚合的主要方式： 将agg与字典一起使用是最灵活的方法，它允许您为每一列指定聚合函数： >>> df.groupby(['grouping', 'columns...因此，完成对多列操作的最佳方法是使用apply： >>> college2.groupby('STABBR')['SATMTMID'] \ .agg(weighted_math_average...默认情况下，dropna方法删除具有一个或多个缺失值的行。 我们必须使用subset参数来限制其查找缺少值的列。 在第 2 步中，我们定义一个仅计算SATMTMID列的加权平均值的函数。...使用一个匿名函数，该函数隐式传递给调用序列，并检查每个值是否小于零。 第 5 步的结果是一个序列，其中仅保留负值，其余更改为缺失值。
基于列值重塑数据(生成一个“透视”表)。使用来自指定索引/列的唯一值来形成结果DataFrame的轴。此函数不支持数据聚合，多个值将导致列中的MultiIndex。...pivot()函数如下： DataFrame.pivot(index=None, columns=None, values=None) index：表示新生成对象的行索引，若未指定说明使用现有对象的行索引...columns：表示新生成对象的列索引。 values ：表示填充新生成对象的值。 要想了解pivot()函数，可以先了解下pivot_table()函数。...() 2.3.1.1 分组操作 pandas中使用groupby()方法根据键将原数据拆分为若干个分组。...使用pandas的groupby()方法拆分数据后会返回一个GroupBy类的对象，该对象是一个可迭代对象，它里面包含了每个分组的具体信息，但无法直接被显示。
尽管我们对loc和iloc使用了不同的列表示形式，但行值没有改变。原因是我们使用数字索引标签。因此，行的标签和索引都相同。 缺失值的数量已更改： ? 7.填充缺失值 fillna函数用于填充缺失值。...12.groupby函数 Pandas Groupby函数是一种通用且易于使用的函数，有助于获得数据概览。它使探索数据集和揭示变量之间的潜在关系变得更加容易。 我们将为groupby函数写几个例子。...\groupby(['Geography','Gender']).agg(['mean','count']) ? 我们可以看到每组中观察值（行）的数量和平均流失率。...低基数意味着与行数相比，一列具有很少的唯一值。例如，Geography列具有3个唯一值和10000行。 我们可以通过将其数据类型更改为category来节省内存。...我们可以使用舍入函数轻松调整它。 df_new.round（1）＃所需的小数位数 ? 27.更改显示选项 无需每次都手动调整显示选项，我们可以更改各种参数的默认显示选项。
并返回⼀个Boolean数组 pd.notnull() # 检查DataFrame对象中的⾮空值，并返回⼀个Boolean数组 df.dropna() # 删除所有包含空值的⾏ df.dropna...对象中所有的空值，⽀持 df[column_name].fillna(x) s.astype(float) # 将Series中的数据类型更改为float类型 s.replace(1,'one')...(col) # 返回⼀个按列col进⾏分组的Groupby对象 df.groupby([col1,col2]) # 返回⼀个按多列进⾏分组的Groupby对象 df.groupby(col1)[col2...col3的最⼤值、最⼩值的数据透视表 df.groupby(col1).agg(np.mean) # 返回按列col1分组的所有列的均值,⽀持 df.groupby(col1).col2.agg([...(col1).col2.transform("sum") # 通常与groupby连⽤，避免索引更改 数据合并 df1.append(df2) # 将df2中的⾏添加到df1的尾部 df.concat
图3 实际上，我们可以使用groupby对象的.agg()方法将上述两行代码组合成一行，只需将字典传递到agg()。字典键是我们要处理的数据列，字典值（可以是单个值或列表）是我们要执行的操作。...图4 图5 使用字典方式，除非使用rename()方法，否则无法更改列名。...要更改agg()方法中的列名，我们需要执行以下操作： 关键字是新的列名 这些值是命名元组 pd.namedagh，第一个参数用于列，第二个参数用于指定操作 图6 pd.NamedAgg是一个名称元组...，也允许使用正则元组，因此我们可以进一步简化上述内容： 图7 按多列分组 记住，我们的目标是希望从我们的支出数据中获得一些见解，并尝试改善个人财务状况。...我们也可以使用内置属性或方法访问拆分的数据集，而不是对其进行迭代。例如，属性groups为我们提供了一个字典，其中包含属于给定组的行的组名（字典键）和索引位置。
探索DataFrame 以下是查看数据信息的5个最常用的函数: df.head()：默认返回数据集的前5行，可以在括号中更改返回的行数。 示例： df.head(10)将返回10行。...df.tail()：返回数据集的最后5行。同样可以在括号中更改返回的行数。 df.shape： 返回表示维度的元组。 例如输出(48,14)表示48行14列。...更改列名称 df.rename(columns = {'Conduc' : 'Cond', 'Dens' : 'Density'}, inplace = True) 数据处理 您可以使用.apply在数据...下面的示例按“Contour”列对数据进行分组，并计算“Ca”列中记录的平均值，总和或计数。...df.groupby(by=['Contour'])['Ca'].mean() df.groupby(by=['Contour'])['Ca'].count() df.groupby(by=['Contour
，还可以写成类似于index=mapper的形式，默认情况下，mapper匹配不到的值不会报错 更改 DataFrame 中的数据 更改值 更改值可以借助访问 DataFrame 的方法对值进行修改。...] = 3#更改符合条件的记录的值 删除行或者列需要借助 drop 函数（要调整 inplace 参数，感觉这个函数主要是用来不显示某些列的）。...()（默认按列计算好像，返回的还是一个 dataframe，值有更改） 查找是否存在重复数据：df.duplicated()(返回布尔值，默认将已经观察到先前有之后的行返回 True 这个需要调整 keep...().sum():统计每列缺失值的个数 #将数据按照指定列分组后统计每组中每列的缺失值情况，筛选出指定列存在缺失值的组并升序排列 data_c=data.groupby('所在小区').apply(lambda...，分别返回各个类别的记录数量，即频次，并根据 sort 的值决定是否按频次排序。
我们可以通过直接打印数据框来查看前60行数据。 print(data) 我们可以看到，所有的数据都是数值型的，而最终的类别值是我们想要预测的因变量。...具体包括：数量、平均数、标准差、最小值、最大值、第一四分位数、第二四分位数（中位数）、第三四分位数。 我们可以查看这些统计数据，并开始注意与我们的问题有关的有趣事实。...您可以更好地比较同一图表上每个类的属性值： data.groupby('class').plas.hist(alpha=0.4) 通过绘制只包含plas一个属性的直方图，将数据按类别分组，其中红色的分类值为...我们从快速和别致等妙语趣话开始，载入我们的CSV格式的数据，并使用统计摘要进行了描述。 接下来，我们探索了各种不同的方法绘制我们的数据图像来揭示有趣的数据结构。...我们观察了箱线图和直方图中数据的分布情况、与类属性相比较的属性分布，以及最后在成对散点图矩阵中属性之间的关系。
要直接更改数据帧而不返回所需的数据帧，可以添加inplace=true作为参数。 出于解释的目的，我将把数据框架称为“数据”——您可以随意命名它。...在不知道索引的情况下检索数据: 通常使用大量数据，几乎不可能知道每一行的索引。这个方法可以帮你完成任务。因此，在因此，在“数据”数据框中，我们正在搜索user_id等于1的一行的索引。...sample = data.sample(n=2000) sorted_sample = sample.sort_values(by=[‘id’]) 使用GroupBy对记录分组： 如果您想知道每个用户...这些数据将为您节省查找自定义数据集的麻烦。 此外，数据可以是任何首选大小，可以覆盖许多数据类型。此外，您还可以使用上述的一些技巧来更加熟悉Pandas，并了解它是多么强大的一种工具。...最后，我希望这篇文章对您有所帮助，并感谢您花时间阅读它。
同样的情况，我们可以增加分组并获取对应的数据 data1 = data['score'].groupby(data['city']) data1.mean() 这种情况下可以类比为SQL语句： select...df.rename(columns={'category': 'category-size'}): 更改列名 df['city'].drop_duplicates(): 删除后出现的重复值 df...，并创建数据表，索引值 df 的索引列，列名称为 category 和 size pd.DataFrame((x.split('-') for x in df['category...具体的使用见下： df.loc[3]: 按索引提取单行的数值 df.iloc[0:5]: 按索引提取区域行数据值 df.reset_index(): 重设索引 df=df.set_index('...beijing 和 shanghai ，然后将符合条件的数据提取出来 pd.DataFrame(category.str[:3]): 提取前三个字符，并生成数据表 数据筛选 使用与、或、非三个条件配合大于
获取指定的列和行 import pandas as pd df = pd.read_csv('xxxx.xls') 获取行操作df.loc[3:6]获取列操作df['rowname']取两列df[['...df.rename(columns={‘category’: ‘category-size’})更改列名df[‘city’].drop_duplicates()删除后出现的重复值df[‘city’].drop_duplicates...，并创建数据表，索引值 df 的索引列，列名称为 category 和 size pd.DataFrame((x.split('-') for x in df['category...loc函数按标签值进行提取iloc按位置进行提取ix可以同时按标签和位置进行提取 具体的使用见下： df.loc[3]按索引提取单行的数值df.iloc[0:5]按索引提取区域行数据值df.reset_index...，然后将符合条件的数据提取出来pd.DataFrame(category.str[:3])提取前三个字符，并生成数据表 数据筛选 使用与、或、非三个条件配合大于、小于、等于对数据进行筛选，并进行计数和求和
添加或插入行 要向DataFrame追加或添加一行，我们将新行创建为Series并使用append()方法。...在本例中，将新行初始化为python字典，并使用append()方法将该行追加到DataFrame。...groupby 是一个非常简单的概念。我们可以创建一组类别，并对类别应用一个函数。这是一个简单的概念，但却是我们经常使用的极有价值的技术。...使用max()查找每一行和每列的最大值 # Get a series containing maximum value of each row max_row = df.max(axis=1) ?...类似地，我们可以使用df.min()来查找每一行或每列的最小值。 其他有用的统计功能: sum():返回所请求的轴的值的总和。默认情况下，axis是索引(axis=0)。
你只需要使用groupby函数： promotion.groupby("promotion_code").agg( total_promo_sales = ("sales_qty",...由于某种原因，一些促销代码值未被记录。 groupby函数默认忽略缺失值。要包含它们在计算中，你需要将dropna参数设置为False。...我们可以使用行和列标签以及它们的索引值来访问特定的行和标签集。 考虑我们之前示例中的促销DataFrame。假设我们想要更新第二行的销售数量值。...现在让我们使用loc方法执行相同的操作。由于行标签和索引值是相同的，我们可以使用相同的代码（只需将iloc更改为loc）。...当我们使用loc方法时，我们多了一行。 原因是使用loc方法时，上限是包含的，因此最后一行（具有标签4的行）被包括在内。 当使用iloc方法时，上限是不包含的，因此索引为4的行不包括在内。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
