、异常值处理、按行、按列剔除 1.重复值统计、剔除： import pandas as pd sheet1 = pd.read_csv(filepath_or_buffer='long-customer-train.csv...重复列数：", duplicated_num) 2.缺失值统计、剔除： dropna()参数介绍： axis：0(对行数据进行剔除)、1(对列数据进行剔除),默认为0 how：any(行中有任意一个空值则剔除...print("缺失值行数:", all_null) sheet1.dropna(axis=0, how='any', inplace=True) # 剔除每行任一个为空值的数据 all_null =...sheet1.isnull().sum(axis=0).sum() # 统计所有的缺失值行数 print("剔除后的缺失值行数：", all_null) 3.遍历pandas对象进行异常值剔除、...修改 需求：“Age”列存在数值为-1、0 和“-”的异常值，删除存在该情况的行数据；“Age”列存在空格和“岁”等异常字符，删除这些异常字符但须保留年龄数值 import pandas as pd
目录 查看 pandas 及其支持项的版本 创建 DataFrame 重命名列 反转行序 反转列序 按数据类型选择列 把字符串转换为数值 优化 DataFrame 大小 用多个文件建立 DataFrame...操控缺失值 把字符串分割为多列 把 Series 里的列表转换为 DataFrame 用多个函数聚合 用一个 DataFrame 合并聚合的输出结果 选择行与列 重塑多重索引 Series 创建透视表...这里要注意的是，字符串里的字符数量必须与 DataFrame 的列数一致。 3. 重命名列 ? 用点（.）选择 pandas 里的列写起来比较容易，但列名里有空格，就没法这样操作了。...用 dropna() 删除列里的所有缺失值。 ? 只想删除列中缺失值高于 10% 的缺失值，可以设置 dropna() 里的阈值，即 threshold. ? 16....按性别（Sex）统计男女的幸存率，需要使用 groupby()。 ? 要按性别与舱型（Pclass）统计幸存率，就要按性别与舱型进行 groupby()。 ?
操控缺失值 把字符串分割为多列 把 Series 里的列表转换为 DataFrame 用多个函数聚合 用一个 DataFrame 合并聚合的输出结果 选择行与列 重塑多重索引 Series 创建透视表...这里要注意的是，字符串里的字符数量必须与 DataFrame 的列数一致。 3. 重命名列 ? 用点（.）选择 pandas 里的列写起来比较容易，但列名里有空格，就没法这样操作了。...用 dropna() 删除列里的所有缺失值。 ? 只想删除列中缺失值高于 10% 的缺失值，可以设置 dropna() 里的阈值，即 threshold. ? 16....把字符串分割为多列 创建一个 DataFrame 示例。 ? 把姓名列分为姓与名两列，用 str.split() 方法，按空格分割，并用 expand 关键字，生成一个新的 DataFrame。 ?...按性别（Sex）统计男女的幸存率，需要使用 groupby()。 ? 要按性别与舱型（Pclass）统计幸存率，就要按性别与舱型进行 groupby()。 ?
("max_rows") pd.reset_option("max_columns") 4 修改每列最大字符宽度 即每列最多显示的字符长度，例如【每列最多显示10个字符，多余的会变成...】 pd.set_option...df.info() 5-查看数据统计信息|数值 查看数值型列的统计信息，计数，均值 df.describe().round(2).T 6-查看数据统计信息|离散 查看离散型列的统计信息，计数，频率 df.describe...） df.drop(df[df.金牌数<20].index) 19-数据删除|删除列 df.drop(columns=['比赛地点']) 20-数据删除|删除列（按列号） 删除df的7,8,9,10列...提取 金牌数、银牌数、铜牌数 三列 df[['金牌数','银牌数','铜牌数']] 23-筛选列|条件（列号） df.iloc[:,[i%2==1 for i in df.shape[1]]] 24-...日本五行数据 df[df['国家奥委会'].isin(['中国','美国','英国','日本','巴西'])] 35-筛选行｜多条件 在上一题的条件下，新增一个条件：金牌数小于30 df[(df['国家奥委会
70以上同色） 我们可以看到以上对于缺失值来说，其背景色是黑色，我们可以通过链式方法和高亮缺失值对缺失值背景色进行修改 3.2....formatter 显示格式 subset用于指定操作的列或行 na_rep用于指定缺失值的格式 precision用于指定浮点位数 decimal用于用作浮点数、复数和整数的十进制分隔符的字符，默认是.... thousands用作浮点数、复数和整数的千位分隔符的字符 escape用于特殊格式输出（如html、latex等，这里不做展开，可参考官网） 比如，我们给数据加上单位枚，缺失值显示为无 设置小数点位数为...此方法根据axis关键字参数一次传递一个或整个表的 DataFrame 的每一列或行。对于按列使用axis=0、按行使用axis=1，以及一次性使用整个表axis=None。...比如，我们定义一个函数，如果金牌数<银牌数，则高亮金牌数这一列对应的值 比如，我们还可以定义函数，如果金牌数<银牌数，则这一行数据都高亮 又或者，我们可以根据不同的比值对每行进行不同的高亮 关于以上函数的写法
2、DataFrame (1)概念： DataFrame是一个表格型的数据结构，含有一组有序的列，每列可以是不同的值类型（数值、字符串、布尔值等）。...（索引相同的进行算数运算，索引不同的被赋予空值） 4、排序和排名 根据某种条件对数据集进行排序。...obj.rank() (2)DataFrame数据结构的排序和排名 按索引值进行排列，一列或多列中的值进行排序，通过by将列名传递给sort_index. 5、缺失数据处理 （1）滤出缺失数据 使用data.dropna...（列从0开始计数） 6、汇总和计算描述统计 就是针对数组进行常用的数学和统计运算。大部分都属于约简和汇总统计。 其中有求和（sum）运算、累计（cumsum）运算、平均值（mean）等运算。...相当于Excel中vlookup函数的多条件查找中的多条件。 对于层次化索引对象，选取数据的方式可以通过内层索引，也可以通过外层索引来选取，选取方式和单层索引选取的方式一致。
文件名 2.2.内置变量 awk语法由一系列条件和动作组成，在花括号内可以有多个动作，多个动作之间用分号分隔，在多个条件和动作之间可以有若干空格，也可以没有。...NF}' #输出每行数据的列数 awk '{print $NF}' /tmp/hosts #打印每行数据的最后一列 awk '{print $(NF-1)}' /tmp/hosts #打印每行倒数第二列.../hosts 2.8.条件匹配 awk支持使用正则进行模糊匹配，也支持字符串和数字的精确匹配，并且支持逻辑与和逻辑或。...'BEGIN{srand(22);print rand()}' #使用数值做随机数种子 5.3.内置字符串函数 length([s])函数 可以统计字符串s的长度，如果不指定字符串s则统计$0的长度...) 将字符串按特定的分隔符切片后存储在数组中，如果没指定分隔符，则使用IFS定义的。
# 检查数据中是否含有任何缺失值 df.isnull().values.any() # 查看每列数据缺失值情况 df.isnull().sum() # 提取某列含有空值的行 df[df['日期']...查找最大值（最小值）索引 iris_gb.idxmax() # 按sepal_length最大值这个条件进行了筛选 sepal_largest = iris.loc[iris_gb['sepal length...NamedAgg命名统计量 # 把每个列下面的统计量和列名分别合并起来。...df.tail(n) # DataFrame的最后n行 df.shape # 行数和列数 df.info...() # 索引，数据类型和内存信息 df.describe() # 数值列的摘要统计信息 s.value_counts
loc方法在选择列时只能使用字符索引。...选择多列。ix、iloc、loc方法都可使用。 只不过ix和loc方法，行索引是前后都包括的，而列索引则是前包后不包(与列表索引一致)。 iloc方法则和列表索引一致，前包后不包。...agg方法则可一次汇总多个统计量。...# 对性别分组,汇总点赞数,获取点赞数最大值 print(df.groupby('gender')[['praise']].max()) # 对性别和年龄分组,获取点赞数的平均值 print(df.groupby...)) 首先查看各列的缺失情况。
Pandas 在Pandas中，可直接对数据框进行条件筛选，例如同样进行单个条件(薪资大于5000)的筛选可以使用df[df['薪资水平']>5000]，如果使用多个条件的筛选只需要使用&(并)与|(或...缺失值处理 说明：对缺失值(空值)按照指定要求处理 Excel 在Excel中可以按照查找—>定位条件—>空值来快速定位数据中的空值，接着可以自己定义缺失值的填充方式，比如将缺失值用上一个数据进行填充...],inplace=True)，可以发现和Excel处理的结果一致，保留了 629 个唯一值。...数据拆分 说明：将一列按照规则拆分为多列 Excel 在Excel中可以通过点击数据—>分列并按照提示的选项设置相关参数完成分列，但是由于该列含有[]等特殊字符，所以需要先使用查找替换去掉 ?...数据抽样 说明：对数据按要求采样 Excel 在Excel中抽样可以使用公式也可以使用分析工具库中的抽样，但是仅支持对数值型的列抽样，比如随机抽20个示例数据中薪资的样本 ?
如何用最少出现的字符替换空格符 my_str = 'dbc deb abed gade' # 方法 ser = pd.Series(list('dbc deb abed gade')) # 统计元素的频数...如何得到dataframe的行，列，每一列的类型和相应的描述统计信息 df = pd.read_csv('https://raw.githubusercontent.com/selva86/datasets...描述每列的统计信息，如std，四分位数等 df_stats = df.describe() # dataframe转化数组 df_arr = df.values # 数组转化为列表 df_list =...如何获取给定条件的行和列 import numpy as np df = pd.read_csv('https://raw.githubusercontent.com/selva86/datasets/...如何统计dataframe的每列中缺失值的个数 df = pd.read_csv('https://raw.githubusercontent.com/selva86/datasets/master/Cars93
tem = np.random.normal(0, 1, 20) df3 = pd.DataFrame(tem) # 生成一个和df长度相同的随机数dataframe df1 = pd.DataFrame...# 检查数据中是否含有任何缺失值 df.isnull().values.any() # 查看每列数据缺失值情况 df.isnull().sum() # 提取某列含有空值的行 df[df['日期']...n行 df.tail(n) # DataFrame的最后n行 df.shape # 行数和列数 df.info...() # 索引，数据类型和内存信息 df.describe() # 数值列的摘要统计信息 s.value_counts...对象 df.groupby(col1)[col2] # 返回中的值的平均值 col2，按中的值分组 col1 （平均值可以用统计模块中的几乎所有函数替换 ） df.pivot_table
,'r') #打开大文件 i = 0 #设置计数器 #这里1234567表示文件行数，如果不知道行数可用每行长度等其他条件来判断 while i<1234567 : with open('newfile...[0]是行数,data.shape[1]是列数 data.describe() #查看数据的大体情况，均值，最值，分位数值... data.columns.tolist() #得到列名的list 2...，为了更好的分析，一般会对这些缺失数据进行识别和处理 2.1 缺失值查看 print(data.isnull().sum()) #统计每列有几个缺失值 missing_col = data.columns...[data.isnull().any()].tolist() #找出存在缺失值的列 import numpy as np #统计每个变量的缺失值占比 def CountNA(data): cols...目标列',1) y_train = train_data['目标列'] y_test = test_data['目标列'] 6、数据规范化 数据的标准化（normalization）是将数据按比例缩放，
# 用于显示数据的前n行 df.head(n) # 用于显示数据的后n行 df.tail(n) # 用于获取数据的行数和列数 df.shape # 用于获取数据的索引、数据类型和内存信息 df.info...] # 根据条件选择数据框中的行和列 df.loc[df['column_name'] > 5, ['column_name1', 'column_name2']] / 04 / 数据清洗 数据清洗是数据预处理阶段的重要步骤...# 检查缺失值 df.isnull() # 删除有缺失值的行 df.dropna() # 用特定值填充缺失值 df.fillna(value) # 插入缺失值 df.interpolate()...df1, df2, on='A', how='right') / 07 / Pandas中的统计 Pandas提供了广泛的统计函数和方法来分析DataFrame或Series中的数据。...# 计算数值列的描述性统计 df.describe() # 计算某列的总和 df['column_name'].sum() # 计算某列的平均值 df['column_name'].mean()
切片 切片操作左闭右开 # 切第8行-13行，第2、3列 HS300_excel1.iloc[7:13, 1:3] 条件筛选切片 # 筛选收盘价大于4300的数据 HS300_excel1[HS300...数据框的修改 修改列名 HS300_colchange = HS300_excel1.rename(columns={'收盘点位': '收盘价格_改'}) 缺失值的处理 一种是删除，即删除有缺失值的行..._excel1, HS300_excel2], axis=0) #按行，上下拼接 stock_new = pd.concat([stock2, stock],axis=1) # 按列，左右拼接...常用静态统计函数 ? ? ? ? ? 2. 移动窗口与动态统计函数 时间点的数据往往波动较大，因此某一时间点的数据通常不能很好的反馈数据本身的特性，因此就需要用一段时间区间的数据进行描述。...数据框.rolling(window=窗口数, axis=0 或 1).统计量函数(axis=0 或 1) 移动平均 HS300_meanclose = HS300_new['收盘点位'].rolling
缺失值的识别 判断一个数据集是否存在缺失观测，通常从两个方面入手，一个是变量的角度，即判断每个变量中是否包含缺失值；另一个是数据行的角度，即判断每行数据中是否包含缺失值。...需要说明的是，判断数据是否为缺失值NaN，可以使用isnull“方法”，它会返回与原数据行列数相同的矩阵，并且矩阵的元素为bool类型的值，为了得到每一列的判断结果，仍然需要any“方法”（且设置“方法...”内的axis参数为0）；统计各变量的缺失值个数可以在isnull的基础上使用sum“方法”（同样需要设置axis参数为0）；计算缺失比例就是在缺失数量的基础上除以总的样本量（shape方法返回数据集的行数和列数...假设上图为学生的考试成绩表，如果直接对成绩表中的分数进行加和操作，得到的是所有学生的分数总和（很显然没有什么意义），如果按学生分别计算总分，将是上图从左到右的转换。...该转换的特征是列数发生了变化（可以是列数减少，也可以是列数增多），类似于在水平方向上受了外部的压力或拉力，这样的外力就理解为轴axis为1的效果（便于理解，可以想象为飞机在有动力的情况下，可以保持水平飞行状态
按列？...修改数据组织结构，创建一个数据矩阵，以id.var作为每行的编号，剩余列数据取值仅作为1列数值，并用原列名作为新数值的分类标记。...数组是多维的，dim属性设置维数 matrix(0, 3, 4)——0为赋初值，3行，4列，存储方式是 先列后行！矩阵是二维的，用ncol和nrow设置矩阵的行数和列数。...简单分析 summary()——描述统计摘要，和 Hmisc()包的describe()类似，会显示NA值，四分位距是第1个（25%取值小于该值）和第3个四分位数（75%取值小于该值...）——计算列联表的边际频数（边际求和）并求和,=1为按列变量 as.formula()——转换为一个R公式，是一个字符串
其中x为向量或矩阵，method为标准化方法，MARGIN=1按行处理，MARGIN=2按列处理： ①method="pa"，将数据转换为有-无（1-0）类型，若分析不加权的情况群结构下可以使用； ②method...⑤method="normalize"，模标准化，将数据除以每行或者每列的平方和的平方根(defaultMARGIN=1)，模标准化后每行、列的平方和为1（向量的模为1），也即在笛卡尔坐标系中到原点的欧氏距离为...类似地，par(mfcol=c(3,2))规定相同的窗格结构，但是次序为按列填放，即先填满第一列的三个再填第二列 mfg：数值向量跳格方式一页多图，例如par(mfg=c(2,2,3,2))表示在三行两列的多图环境中直接跳到第二行第二列位置...，mfg参数的后两个表示多图环境的行、列数，前两个表示要跳到的位置 此外，par()里也可以设置坐标轴大小字体样式cex、font等。...25%值和75%值（也即第一四分位数和第三四分位数），中间粗横线为中位数，触须伸出箱子的最大长度可以通过range参数来设置，默认为1.5倍箱子高度（四分位数间距），设置add=T可以讲箱形图绘制在当前图像上
/train.csv’ header=0表示第0行是标题 寻找数据集中缺失的数据可以用data.isnull() 缺失总数用data.isnull().sum()来统计 dataframe...：(假设保存的数据集名为data) 寻找数据集中缺失的数据 可以用data.isnull() 缺失总数用data.isnull().sum()来统计 调用data.isnull()的话会得到一个列表...可用 对数据分组进行计算，比如计算分组的平均数等 有点类似于数据库中的groupby计算，涉及至少两列数据，用法有两种(例 要对列A根据列B进行分组并计算平均值) 1....使用0值表示沿着每一列或行标签\索引值向下执行方法 使用1值表示沿着每一行或者列标签模向执行对应的方法 定位符合某个条件的数据(在处理缺失数据时十分有用) data.loc[行条件，列条件]...data.loc[data[‘Age’]50,‘Survived’]=1 #将所有年龄为50岁的乘客的存活情况设置为1(行条件为Age50，列条件为列标签是Survived) 如果要修改筛选出来的数据
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
