label1, label2, label3]] # 通过整数索引选择单行 df.iloc[index] # 通过整数索引选择多行 df.iloc[start_index:end_index] # 根据条件过滤行...] # 根据条件选择数据框中的行和列 df.loc[df['column_name'] > 5, ['column_name1', 'column_name2']] / 04 / 数据清洗 数据清洗是数据预处理阶段的重要步骤...df['column_name'] = df['column_name'].str.lower() # 将列转换为不同的数据类型 df['column_name'] = df['column_name...'].astype('new_type') # 将列转换为日期时间 df['date_column'] = pd.to_datetime(df['date_column']) # 重命名列名 df.columns...# 根据条件过滤行 df_filtered = df[df['column_name'] > 5] # 按单列对DataFrame进行排序 df_sorted = df.sort_values('column_name
本文将介绍Pandas的一些高级知识点,包括条件选择、聚合和分组、重塑和透视以及时间序列数据处理等方面。...例如,根据某一列的值来计算另一列的均值或总和。Pandas提供了多种聚合和分组的函数,如下所示。...2.1 groupby() groupby()函数可以根据某一列或多列将数据分组,例如: df.groupby('A').sum() 2.2 聚合函数 Pandas提供了丰富的聚合函数,包括求和、均值、...def custom_agg(x): return x['B'].sum() - x['C'].mean() df.groupby('A').apply(custom_agg) 重塑和透视 重塑和透视是将数据从一种形式转换为另一种形式的重要操作...3.1 stack()和unstack() stack()函数将列转换为行,unstack()函数将行转换为列。
具体来说,map通过对列表中每个元素执行某种操作并将其转换为新列表。在本例中,它遍历每个元素并乘以2,构成新列表。请注意,list()函数只是将输出转换为列表类型。...我们用删除一列(行)的例子: df.drop( Column A , axis=1) df.drop( Row A , axis=0) 如果你想处理列,将Axis设置为1,如果你想要处理行,将其设置为0...Concat允许用户在表格下面或旁边追加一个或多个DataFrame(取决于您如何定义轴)。 ? Merge将多个DataFrame合并指定主键(Key)相同的行。 ?...Join,和Merge一样,合并了两个DataFrame。但它不按某个指定的主键合并,而是根据相同的列名或行名合并。 ? Pandas Apply pply是为Pandas Series而设计的。...Apply将一个函数应用于指定轴上的每一个元素。使用Apply,可以将DataFrame列(是一个Series)的值进行格式设置和操作,不用循环,非常有用!
具体来说,map通过对列表中每个元素执行某种操作并将其转换为新列表。 在本例中,它遍历每个元素并乘以2,构成新列表。 请注意,list()函数只是将输出转换为列表类型。...我们用删除一列(行)的例子: 1df.drop('Column A', axis=1) 2df.drop('Row A', axis=0) 如果你想处理列,将Axis设置为1,如果你想要处理行,将其设置为...Concat允许用户在表格下面或旁边追加一个或多个DataFrame(取决于您如何定义轴)。 ? Merge将多个DataFrame合并指定主键(Key)相同的行。 ?...Join,和Merge一样,合并了两个DataFrame。 但它不按某个指定的主键合并,而是根据相同的列名或行名合并。 ?...Apply将一个函数应用于指定轴上的每一个元素。 使用Apply,可以将DataFrame列(是一个Series)的值进行格式设置和操作,不用循环,非常有用!
list()函数只是将输出转换为列表类型) # Map seq = [1, 2, 3, 4, 5] result = list(map(lambda var: var*2, seq)) print(result...我们用删除一列(行)的例子: df.drop('Column A', axis=1) df.drop('Row A', axis=0) 如果你想处理列,将Axis设置为1,如果你想要处理行,将其设置为0...Concat允许用户在表格下面或旁边追加一个或多个DataFrame(取决于您如何定义轴)。 ? Merge将多个DataFrame合并指定主键(Key)相同的行。 ?...Join,和Merge一样,合并了两个DataFrame。但它不按某个指定的主键合并,而是根据相同的列名或行名合并。 ?...Apply将一个函数应用于指定轴上的每一个元素。使用Apply,可以将DataFrame列(是一个Series)的值进行格式设置和操作,不用循环,非常有用!
具体来说,map通过对列表中每个元素执行某种操作并将其转换为新列表。在本例中,它遍历每个元素并乘以2,构成新列表。请注意,list()函数只是将输出转换为列表类型。...我们用删除一列(行)的例子: df.drop( Column A , axis=1) df.drop( Row A , axis=0) 如果你想处理列,将Axis设置为1,如果你想要处理行,将其设置为0...Concat允许用户在表格下面或旁边追加一个或多个DataFrame(取决于您如何定义轴)。 ? Merge将多个DataFrame合并指定主键(Key)相同的行。 ?...Join,和Merge一样,合并了两个DataFrame。但它不按某个指定的主键合并,而是根据相同的列名或行名合并。 ?...Apply将一个函数应用于指定轴上的每一个元素。使用Apply,可以将DataFrame列(是一个Series)的值进行格式设置和操作,不用循环,非常有用!
条件选择(Filtering) df[df['ColumnName'] > value] 使用方式: 使用条件过滤选择满足特定条件的行。 示例: 选择年龄大于25的行。...在机器学习和深度学习中经常会使用独热编码来将离散变量转换为多维向量,以便于算法处理。...示例: 将“Name”列转换为大写。 df['Name'].str.upper() 25....日期时间处理 df['DateTimeColumn'] = pd.to_datetime(df['DateTimeColumn']) 使用方式:将字符串列转换为日期时间类型 示例: 将“Date”列转换为日期时间类型...使用mask进行条件替换 df['NewColumn'] = df['Column'].mask(df['Condition']) 使用方式: 使用mask根据条件替换值。
("------------------------------") # 根据标签选择行 print(df.loc[0]) # 第一行 print("-------------------------...-----") print(df.loc[0:1]) # 第一行到第二行 print("------------------------------") # 条件过滤 # 选择年龄大于30的行 print...重塑数据通常包括将数据从宽格式转换为长格式,或从长格式转换为宽格式。...# 使用 stack 将列索引转换为行索引 stacked_df = pivot_df.stack() print(stacked_df) 输出: Date City 2024-06-01...20 赣州 45 2024-06-02 杭州 40 赣州 30 dtype: int64 # 使用 unstack 将行索引转换为列索引
大小写转换: 使用str.lower ()将所有字符转换为小写。 使用str.upper ()将所有字符转换为大写。...数据转换: 使用 melt()函数将宽表转换为长表。 使用 pivot_table()函数创建交叉表格。 使用apply()函数对每一行或每一列应用自定义函数。...例如,可以将日数据转换为月度或年度数据。使用resample方法可以方便地实现这一操作。...例如,可以根据特定条件筛选出满足某些条件的数据段,并对这些数据段应用自定义函数进行处理。...数据重塑(Data Reshaping) : 数据重塑是将数据从一种格式转换为另一种格式的过程,常见的方法有pivot和melt。这些方法可以用于将宽表数据转换为长表数据,或者反之。
条件选择(Filtering) df[df['ColumnName'] > value] 使用方式: 使用条件过滤选择满足特定条件的行。 示例: 选择年龄大于25的行。...示例: 将“Name”列转换为大写。 df['Name'].str.upper() 25....示例: 将“Age”列转换为浮点数类型。 df['Age'] = df['Age'].astype(float) 36....使用mask进行条件替换 df['NewColumn'] = df['Column'].mask(df['Condition']) 使用方式: 使用mask根据条件替换值。...示例: 根据“Salary”列的条件进行替换。 df['Bonus'] = df['Salary'].mask(df['Salary'] > 60000, 'HighBonus') 46.
8.删除缺失值 处理缺失值的另一种方法是删除它们。“已退出”列中仍缺少值。以下代码将删除缺少任何值的行。...df.isna().sum().sum() --- 0 9.根据条件选择行 在某些情况下,我们需要适合某些条件的观察值(即行)。例如,下面的代码将选择居住在法国并且已经流失的客户。...19.where函数 它用于根据条件替换行或列中的值。默认替换值是NaN,但我们也可以指定要替换的值。 考虑上一步(df_new)中的DataFrame。...符合指定条件的值将保持不变,而其他值将替换为指定值。 20.排名函数 它为这些值分配一个等级。让我们创建一个根据客户余额对客户进行排名的列。...29.根据字符串过滤 我们可能需要根据文本数据(例如客户名称)过滤观察结果(行)。我已经将虚构名称添加到df_new DataFrame中。 ? 让我们选择客户名称以Mi开头的行。
Query 我们有时需要根据条件筛选数据,一个简单方法是query函数。为了更直观理解这个函数,我们首先创建一个示例 dataframe。...where函数首先根据指定条件定位目标数据,然后替换为指定的新数据。...Melt Melt用于将维数较大的 dataframe转换为维数较少的 dataframe。一些dataframe列中包含连续的度量或变量。在某些情况下,将这些列表示为行可能更适合我们的任务。...如果axis参数设置为1,nunique将返回每行中唯一值的数目。 13. Lookup 'lookup'可以用于根据行、列的标签在dataframe中查找指定值。假设我们有以下数据: ?...Select_dtypes Select_dtypes函数根据对数据类型设置的条件返回dataframe的子集。它允许使用include和exlude参数包含或排除某些数据类型。
loc 首先我们来介绍loc,loc方法可以根据传入的行索引查找对应的行数据。注意,这里说的是行索引,而不是行号,它们之间是有区分的。...我们使用切片,pandas会自动替我们完成索引对应位置的映射。 ? 但是索引对应的切片出来的结果是闭区间,这一点和Python通常的切片用法不同,需要当心。...先是iloc查询行之后,再对这些行组成的新的DataFrame进行列索引。...逻辑表达式 和numpy一样,DataFrame也支持传入一个逻辑表达式作为查询条件。 比如我们想要查询分数大于200的行,可以直接在方框中写入查询条件df['score'] > 200。 ?...如果表达式有多个也没问题,不过需要使用括号将表达式包起来,并且多个表达式之间用位运算符连接,比如&, |。 ?
常见方法 举例:重新索引 df_inner.reset_index() 三、数据索引 序号 方法 说明 1 .values 将DataFrame转换为ndarray二维数组 2 .append(idx)...9 .drop() 删除Series和DataFrame指定行或列索引。 10 .loc[行标签,列标签] 通过标签查询指定的数据,第一个值为行标签,第二值为列标签。...:布尔型数组(过滤行)、切片(行切片)、或布尔型DataFrame(根据条件设置值) 2 df.loc[val] 通过标签,选取DataFrame的单个行或一组行 3 df.loc[:,val] 通过标签...=True) 只能根据0轴的值排序。...的corrwith方法,可以计算其列或行跟另一个Series或DataFrame之间的相关系数。
常见方法 序号 方法 说明 1 df.head() 查询数据的前五行 2 df.tail() 查询数据的末尾5行 3 pandas.qcut() 基于秩或基于样本分位数将变量离散化为等大小桶 4 pandas.cut...True时会丢弃原来的索引,设置新的从0开始的索引,常与groupby()一起用 举例:重新索引 df_inner.reset_index() 三、数据索引 序号 方法 说明 1 .values 将DataFrame...转换为ndarray二维数组 2 .append(idx) 连接另一个Index对象,产生新的Index对象 3 .insert(loc,e) 在loc位置增加一个元素 4 .delete(loc) 删除...:布尔型数组(过滤行)、切片(行切片)、或布尔型DataFrame(根据条件设置值) 2 df.loc[val] 通过标签,选取DataFrame的单个行或一组行 3 df.loc[:,val] 通过标签...的corrwith方法,可以计算其列或行跟另一个Series或DataFrame之间的相关系数。
在Excel成为我的“初恋”十年之后,是时候找一个更好的“另一半”了,在这个技术日新月异的时代,更好更薄更轻更快处理数据的选择就在身边!...5、略过行和列 默认的read_excel参数假定第一行是列表名称,会自动合并为DataFrame中的列标签。...9、用多个条件筛选多列数据 输入应为列一个表,此方法相当于excel中的高级过滤器功能: ? 10、根据数字条件过滤 ? 11、在Excel中复制自定义的筛选器 ?...以上,我们使用的方法包括: Sum_Total:计算列的总和 T_Sum:将系列输出转换为DataFrame并进行转置 Re-index:添加缺少的列 Row_Total:将T_Sum附加到现有的DataFrame...用fill_value参数将空白替换为0: ? 可以使用dictionary函数进行单独计算,也可以多次计算值: ?
~ 按行 用多个文件建立 DataFrame ~ 按列 从剪贴板创建 DataFrame 把 DataFrame 分割为两个随机子集 根据多个类别筛选 DataFrame 根据最大的类别筛选 DataFrame...操控缺失值 把字符串分割为多列 把 Series 里的列表转换为 DataFrame 用多个函数聚合 用一个 DataFrame 合并聚合的输出结果 选择行与列 重塑多重索引 Series 创建透视表...用多个文件建立 DataFrame ~ 按列 上个技巧按行合并数据集,但是如果多个文件包含不同的列,该怎么办? 本例将 drinks 数据集分为了两个 CSV 文件,每个文件都包含 3 列。 ?...把 DataFrame 分割为两个随机子集 把 DataFrame 分为两个随机子集,一个占 75% 的数据量,另一个是剩下的 25%。 以 Movies 为例,该数据有 979 条记录。 ?...如果想反选,可在条件前添加一个波浪符(tilde ~)。 ? 14. 根据最大的类别筛选 DataFrame 筛选电影类别里(genre)数量最多的三类电影。
最大的不同在于pd.DataFrame行和列对象均为pd.Series对象,而这里的DataFrame每一行为一个Row对象,每一列为一个Column对象 Row:是DataFrame中每一行的数据抽象...DataFrame既然可以通过其他类型数据结构创建,那么自然也可转换为相应类型,常用的转换其实主要还是DataFrame=>rdd和DataFrame=>pd.DataFrame,前者通过属性可直接访问...SQL中实现条件过滤的关键字是where,在聚合后的条件中则是having,而这在sql DataFrame中也有类似用法,其中filter和where二者功能是一致的:均可实现指定条件过滤。...以上主要是类比SQL中的关键字用法介绍了DataFrame部分主要操作,而学习DataFrame的另一个主要参照物就是pandas.DataFrame,例如以下操作: dropna:删除空值行 实际上也可以接收指定列名或阈值...,当接收列名时则仅当相应列为空时才删除;当接收阈值参数时,则根据各行空值个数是否达到指定阈值进行删除与否 dropDuplicates/drop_duplicates:删除重复行 二者为同名函数,与pandas
NumPy数组构造一个DataFrame: 请注意,在第二种情况下,人口数量的值被转换为浮点数。...7.1 垂直叠加 这可能是将两个或多个dataframe合并为一个的最简单方法:您获取第一个dataframe中的行,并将第二个dataframe中的行追加到底部。...与原始的关联操作一样,关联的是属于第一个DataFrame的列,其他DataFrame根据它们的索引进行关联操作。...另一种快速、通用、甚至可以处理重复行名的解决方案是索引而不是删除。为了避免显式地否定条件,我写了一个(只有一行代码的)自动化程序。 7.6 分组 这个操作已经在Series部分详细描述过了。...7.6 旋转和反旋转 该命令丢弃了与操作无关的任何信息(索引、价格),并将来自三个请求列的信息转换为长格式,将客户名称放入结果的索引中,将产品名称放入列中,将销售数量放入DataFrame的body
将DataFrame划分为两个随机的子集 假设你想要将一个DataFrame划分为两部分,随机地将75%的行给一个DataFrame,剩下的25%的行给另一个DataFrame。...接着我们使用drop()函数来舍弃“moive_1”中出现过的行,将剩下的行赋值给"movies_2"DataFrame: ? 你可以发现总的行数是正确的: ?...isna()会产生一个由True和False组成的DataFrame,sum()会将所有的True值转换为1,False转换为0并把它们加起来。...数据透视表的另一个好处是,你可以通过设置margins=True轻松地将行和列都加起来: ? 这个结果既显示了总的存活率,也显示了Sex和Passenger Class的存活率。...我们现在隐藏了索引,将Close列中的最小值高亮成红色,将Close列中的最大值高亮成浅绿色。 这里有另一个DataFrame格式化的例子: ?