['b'].unique(): 查看某一列的唯一值 df.values: 查看数据表的值 df.columns: 查看列名 df.head(): 查看默认的前 10 行数据 df.tail():...查看默认的后 10 行数据 数据表清洗 df.fillna(value=0): 用数字 0 填充空值 df['pr'].fillna(df['pr'].mean()): 用列 pr 的平均值对 na...[(df['city'] == 'beijing') & (df['pr'] >= 4000), 'sign'] = 1 对 category 字段的值依次进行分列，并创建数据表，索引值 df 的索引列...pr 进行求和 df.query('city' == ['beijing', 'shanghai']).pr.sum() 数据汇总 主要使用 groupby 和 pivote_table 进行处理。..., np.sum,np.mean]): 对 city 进行分组，然后计算 pr 列的大小、总和和平均数 数据统计 数据采样，计算标准差、协方差和相关系数。
[‘b’].unique()查看某一列的唯一值df.values查看数据表的值df.columns查看列名df.head()查看默认的前 10 行数据df.tail()查看默认的后 10 行数据 数据表清洗...df.set_index('id') 按照特定列的值排序 df.sort_values(by=['age']) 按照索引列排序 df.sort_index() 如果 pr 列的值大于 3000 ， group...[(df['city'] == 'beijing') & (df['pr'] >= 4000), 'sign'] = 1 对 category 字段的值依次进行分列，并创建数据表，索引值 df 的索引列...([‘beijing’])判断 city 的值是否为北京df.loc[df[‘city’].isin([‘beijing’,‘shanghai’])]判断 city 列里是否包含 beijing 和 shanghai...pr 进行求和 df.query('city' == ['beijing', 'shanghai']).pr.sum() 数据汇总 主要使用 groupby 和 pivote_table 进行处理。
（维度、列名称、数据格式、所占空间等） df.dtypes 列数据的格式 df[‘Name’].dtype 某一列格式 df.isnull() 空值 df.isnull() 查看某一列空值 df[Name...’].unique() 某一列的唯一值 df.values 数据表的值 df.columns 列名称 df.head() 查看前10行数据 df.tail() 查看后10行数据 数据操作 代码 作用...() 对筛选后的结果按prince进行求和 数据统计 代码 作用 df_inner.groupby(‘city’).count() 对所有的列进行计数汇总 df_inner.groupby(‘city...(‘city’)[‘price’].agg([len,np.sum, np.mean]) 对city字段进行汇总，并分别计算prince的合计和均值 df_inner.sample(n=3) 简单的数据采样...的索引列，列名称为category和size df_inner=pd.merge(df_inner,split,right_index=True, left_index=True) 将完成分裂后的数据表和原
数据透视表将每一列数据作为输入，输出将数据不断细分成多个维度累计信息的二维数据表。...可以使任何对groupby有效的函数 fill_value 用于替换结果表中的缺失值 dropna 默认为True margins_name 默认为'ALL'，当参数margins为True时，ALL行和列的名字...行索引和列索引都可以再设置为多层，不过行索引和列索引在本质上是一样的，大家需要根据实际情况合理布局。...columns：指定了要分组的列，最终作为列。 values：指定了要聚合的值（由行列共同影响），需要指定aggfunc参数。 rownames：指定了行名称。 colnames：指定了列名称。...必须指定values的值。 margins：布尔值，是否分类统计。默认False。 margins_name：分类统计的名称，默认是"All"。 dropna：是否包含全部是NaN的列。
数据表检查 数据表检查的目的是了解数据表的整体情况，获得数据表的关键信息、数据的概况，例如整个数据表的大小、所占空间、数据格式、是否有 空值和重复项和具体的数据内容，为后面的清洗和预处理做好准备。...df.shape 2.数据表信息 使用info函数查看数据表的整体信息，包括数据维度、列名称、数据格式和所占空间等信息。...) 数据表清洗 本章介绍对数据表中的问题进行清洗，包括对空值、大小写问题、数据格式和重复值的处理。...Rename是更改列名称的函数，我们将来数据表中的category列更改为category-size。...#对category字段的值依次进行分列，并创建数据表，索引值为df_inner的索引列，列名称为category和size pd.DataFrame((x.split('-') for x in df_inner
1、维度查看： df.shape 2、数据表基本信息（维度、列名称、数据格式、所占空间等）： df.info() 3、每一列数据的格式： df.dtypes 4、某一列格式： df['B'].dtype...5、空值： df.isnull() 6、查看某一列空值： df['B'].isnull() 7、查看某一列的唯一值： df['B'].unique() 8、查看数据表的值： df.values 9、...，并创建数据表，索引值为df_inner的索引列，列名称为category和size pd.DataFrame((x.split('-') for x in df_inner['category']),...[:3,:2] #冒号前后的数字不再是索引的标签名称，而是数据所在的位置，从0开始，前三行，前两列。...prince进行求和 df_inner.query('city == ["beijing", "shanghai"]').price.sum() 七、数据汇总 主要函数是groupby和pivote_table
返回 表——包含汇总依据及新列名的表 C. 注意事项 汇总的依据必须是表或者相关表的列。 不能用于虚拟添加列这种。 尽量用其他方式来替换第3和第4参数。...分组依据的列 第3可选重复参数 Name 增加列的名称，文本格式 第4可选重复参数 Expression 增加列的计算表达式 B....CurrentGroup函数不带参数，通常和带X结尾的聚合函数一起使用。 D. 作用 返回按指定列分组后计算的表达式结果 E....) 解释：通过姓名进行分组汇总，并计算当前汇总数据表的成绩合计。...功能在某些地方和SummarizeColumns以及Summarize类似，在汇总时如果值为空的话，也会忽略汇总，所以姓名为无值的这里也依旧不显示。
【例4】对groupby对象进行迭代,并打印出分组名称和每组元素。 关键技术:采用for函数进行遍历, name表示分组名称, group表示分组数据。...sum','mean']}) 2.2逐列及多函数应用 【例10】同时使用groupby函数和agg函数进行数据聚合操作。...和agg函数对该数据表进行分组聚合操作。...为True时,行/列小计和总计的名称; 【例17】对于DataFrame格式的某公司销售数据workdata.csv,存储在本地的数据的形式如下,请利用Python的数据透视表分析计算每个地区的销售总额和利润总额...: 行名称 margins : 总计行/列 normalize：将所有值除以值的总和进行归一化，为True时候显示百分比 dropna :是否刪除缺失值 【例19】根据国籍和用手习惯对这段数据进行统计汇总
向数据库中添加数据时，列名和值要一一对应，如果未写出列名，则添加数据的默认顺序是列的存放顺序，这就引出两种添加方式，一种是向全部字段（即列）添加数据，只需不写出列名就可以；另一种是向部分字段添加数据，需要写出具体的添加数据列名...3)、给查询结果中的列换个名称 使用AS关键字给列设置别名， SELECTcolumn_name1 AS ‘别名1’,column_name2 AS ‘别名2’,……....3、聚合函数 求最大值函数（MAX）、最小值函数（MIN）、平均值函数（AVG）、求和函数（SUM）、求记录行数函数（COUNT） SELECT 函数（column_name）FROM table_name...上面语句中：GROUPBY是分组查询的关键字，在其后面写的是按其分组的列名，可以按照多列进行分组。 HAVING是在分组查询中使用条件的关键字。该关键字只能在GROUPBY后面。...HAVING子句要放在GROUPBY 子句之后，也就是要对数据进行分组，然后再对其按条件进行数据筛选。还有一点使用HAVING语句作为条件时，条件后面的列只能是在GROUPBY子句后面出现过的列。
而在SQL面试中，一道出镜频率很高的题目就是行转列和列转行的问题，可以说这也是一道经典的SQL题目，本文就这一问题做以介绍分享。 ? 给定如下模拟数据集，这也是SQL领域经典的学生成绩表问题。...两张期望的数据表分别如下： 1）长表： ? scoreLong 2）宽表： ?...由多行变一行，那么直觉想到的就是要groupby聚合；由一列变多列，那么就涉及到衍生提取； 既然要用groupby聚合，那么就涉及到将多门课的成绩汇总，但现在需要的不是所有成绩汇总，而仍然是各门课的独立成绩...这样，无论使用任何聚合函数，都可以得到该uid下指定课程的成绩结果。这里是用了sum函数，其实用min、max效果也是一样的，因为待聚合的数值中就只有那一个值非空。...这实际上对应的一个知识点是：在SQL中字符串的引用用单引号（其实双引号也可以），而列字段名称的引用则是用反引号 上述用到了where条件过滤成绩为空值的记录，这实际是由于在原表中存在有空值的情况，如不加以过滤则在本例中最终查询记录有
="p" 11 ser2.index.name = 'state' 12 print(ser2) View Code 2.DataFrame:表示的是矩阵的数据表，它包含已排序的列集合，每一个可以是不同的值类型...loc使用方法:DataFrame.loc[行索引名称或条件,列索引名称，如果内部传递的是一个区间，则左闭右开。...loc内部可以出入表达式，返回布尔值的series iloc和loc的区别是，iloc接受的必须是行索引和列索引的位置。...#返回每个分组的最小值 18 print(group.std()) #返回每组的标准差 19 print(group.sum()) #返回每组的和 20 group2 = df['data1'].groupby...#返回每组的标准差 print(group.sum()) #返回每组的和 print(group.quantile(0.9)) #返回每组的分位数 group2 = df['data1'].groupby
3、数据缺失值 # Check for missing values missing_values = df.isnull().sum() # Fill missing values with...它根据一个或多个列的值对数据进行重新排列和汇总，以便更好地理解数据的结构和关系。...var_name：用于存储"融化"后的列名的新列的名称。 value_name：用于存储"融化"后的值的新列的名称。...6 1 Amy History 88 7 2 Bob History 76 8 3 John History 90 通过这种方式，你可以将宽格式数据表格中的多列数据整合到一个列中...将数据列转换为分类类型有助于节省内存和提高性能，特别是当数据列中包含有限的不同取值时。
在pandas库中实现Excel的数据透视表效果通常用的是df['a'].value_counts()这个函数，表示统计数据框(DataFrame) df的列a各个元素的出现次数；例如对于一个数据表如pd.DataFrame...df['b'].sum()是对b列求和，结果是21，和a列无关；所以我们可以自己按照根据a列分表再求和的思路去实现。...自己造轮子的做法可以是： def df_value_sum(df,by='a',s='b'):#by和s分别对应根据a列对b列的数求和 keys=set(df[by]) ss={}...df.groupby('a').sum()，会输出一个DataFrame。...，直接在透视表的行选渠道，值选uid计数，得到的是没去重的结果，拿df表来说，假设c列是用户id，a列是渠道，想统计a列的A、B、C各渠道各有多少付费用户数，透视表的结果和期望的结果如下图： ?
5.6 切割数据 对date字段的值依次进行分列，并创建数据表，索引值为data的索引列，列名称为year\month\day。...6.2.2 用loc取不连续的多行 提取索引值为2和索引值为4的所有行，即提取第3行和第5行。 data.loc[[2,4]] 输出结果： ?...6.2.5 用iloc取连续的多行和多列 提取第3行到第6行，第4列到第5列的值，取得是行和列交叉点的位置。 data.iloc[2:6,3:5] 输出结果： ?...6.2.6 用iloc取不连续的多行和多列 提取第3行和第6行，第4列和第5列的交叉值 data.iloc[[2,6],[3,5]] 输出结果： ?...8.4 以department属性进行分组汇总并计算money的合计与均值 data.groupby("department")['money'].agg([len, np.sum, np.mean])
(double_df) 我们也可以定义更复杂的函数，比如对于 DataFrame，我们新增两列，其中’new1’列是“语文”和“英语”成绩之和的 m 倍，'new2’列是“语文”和“英语”成绩之和的...当我们未设置aggfunc时，它默认aggfunc='mean'计算均值，可以设置多个 如： [aggfunc=[np.sum,np.mean]] 此时会显示np.sum和np.mean统计出来的数据。...D”列中的所有NaN元素分别替换为0,1,2和3。...groupby操作涉及拆分对象，应用函数和组合结果的某种组合。...() # 列名称 总结： 和 NumPy 一样，Pandas 有两个非常重要的数据结构：Series 和 DataFrame。
columns和index为指定的列、行索引，并按照顺序排列 举例：用pandas创建数据表： df = pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006...，选取单一的标量 9 df.iat[i,j] 通过行和列的位置（整数），选取单一的标量 10 reindex 通过标签选取行或列 11 get_value 通过行和列标签选取单一值 12 set_value...通过行和列标签选取单一值 举例：使用iloc按位置区域提取数据 df_inner.iloc[:3,:2] #冒号前后的数字不再是索引的标签名称，而是数据所在的位置，从0开始，前三行，前两列。...，用统计学指标快速描述数据的概要 6 .sum() 计算各列数据的和 7 .count() 非NaN值的数量 8 .mean( ) 计算数据的算术平均值 9 .median() 计算算术中位数 10 ....），表示哪些值是缺失的 举例：查看数据表基本信息（维度、列名称、数据格式等等） df.info() 十、数据转换 序号 方法 说明 1 .replace(old, new) 用新的数据替换老的数据，
columns和index为指定的列、行索引，并按照顺序排列 举例：用pandas创建数据表： df = pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006...9 .drop() 删除Series和DataFrame指定行或列索引。 10 .loc[行标签，列标签] 通过标签查询指定的数据，第一个值为行标签，第二值为列标签。...[:3,:2] #冒号前后的数字不再是索引的标签名称，而是数据所在的位置，从0开始，前三行，前两列。...() 针对各列的多个统计汇总，用统计学指标快速描述数据的概要 6 .sum() 计算各列数据的和 7 .count() 非NaN值的数量 8 .mean( ) 计算数据的算术平均值 9 .median(...），表示哪些值是缺失的 举例：查看数据表基本信息（维度、列名称、数据格式等等） df.info() 十、数据转换 序号 方法 说明 1 .replace(old, new) 用新的数据替换老的数据，
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
