首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Pandas知识点-Series数据结构介绍

,也可以直接办公软件Excel打开。...为了方便后面的代码调用,下载完成后这个.csv文件拷贝代码同级目录下。 一、Series数据结构介绍 1....因为数据是一维(只有一),所以Series只有索引,没有索引。 ? Series由索引和数据组成。如果数据行数很多,会自动数据折叠,中间显示为“...”。...取出DataFrame中任意一(任意一iloc获取,如df.iloc[0]),其数据类型都是Series,说明DataFrame是由Series构成。...) s2 = s.T print("后形状:", s2.shape) 形状:(4726,) 后形状:(4726,) 需要注意是,Series置之后形状与置之前是一样,这是因为Series

2.2K30
您找到你想要的搜索结果了吗?
是的
没有找到

14个pandas神操作,手把手教你写代码

03 Pandas基本功能 Pandas常用基本功能如下: 从ExcelCSV、网页、SQL、剪贴板等文件工具中读取数据; 合并多个文件或者电子表格中数据,数据拆分为独立文件; 数据清洗,如去重...; 数据,如转列、转行变更处理; 连接数据库,直接SQL查询数据并进行处理; 对时序数据进行分组采样,如按季、按月、按工作小时,也可以自定义周期,如工作日; 窗口计算,移动窗口统计、日期移动等...2、准备数据集 数据集(Data setdataset),又称为资料集、数据集合资料集合,是一种由数据组成集合,可以简单理解成一个Excel表格。在分析处理数据时,我们要先了解数据集。...图6 分组后每用不同方法聚合计算 10、数据转换 对数据表进行,对类似图6中数据以A-Q1、E-Q4两点连成折线为轴对数据进行翻转,效果如图7所示,不过我们这里仅用sum聚合。...df.mean() # 返回所有均值 df.mean(1) # 返回所有均值,下同 df.corr() # 返回之间相关系数 df.count() # 返回每一非空个数

3.3K20

Python环境】Python结构化数据分析利器-Pandas简介

columns R中对应函数: summary(df) 行列 df.T index a b c d one 1 2 3 NaN two 1 2 3 4 2 rows × 4 columns 排序...读写数据 DataFrame可以方便读写数据文件,最常见文件为CSVExcel。...使用位置选取数据: df.iloc[位置,列位置]df.iloc[1,1]#选取第二,第二,返回为单个df.iloc[0,2],:]#选取第一及第三数据df.iloc[0:2,:]#...选取第一第三(不包含)数据df.iloc[:,1]#选取所有记录第一,返回为一个Seriesdf.iloc[1,:]#选取第一数据,返回为一个Series PS:loc为location...df.mean()#计算平均值,参数为轴,可选为01.默认为0,即按照运算df.sum(1)#计算和df.apply(lambda x: x.max() - x.min())#一个函数应用到

15K100

科学计算库-Pandas随笔【附网络隐私闲谈】

,每可以是不用类型,数值、字符串、布尔都可以 DataFrame 本身也有索引,索引,字典 DataFrame 再表格才一致。... 1)只查找60年代这组,全部 res['60年代':'60年代'] Out: 0 1 2 60年代 1 2 3 2)查找60-70年代,全部 res["60年代":"70年代"...①字典转为DF类型后,键/key 也默认成为了索引,与排序不谋而合, ②目前学到只有,可以学过,再排序。...(index) #前面创建pop索引重置(reindex)为MultiIndex,就会看到层级索引,结果是单索引数组 #其中,前两列表示Series多级索引,第三是数据。...2)去掉索引,header=None 第一也当作 value,填充 0123…作为默认索引,不是第一给去掉 data = pd.read_csv('demo.CSV' , header=None

2.8K180

手把手教你做一个“渣”数据师,Python代替老情人Excel

我希望Python取代几乎所有excel功能,无论是简单筛选还是相对复杂创建并分析数据和数组。 我展示从简单复杂计算任务。强烈建议你跟着我一起做这些步骤,以便更好地理解它们。...2、一些重要Pandas read_excel选项 ? 如果默认使用本地文件路径,“\”表示,接受用“/”表示,更改斜杠可以文件添加到Python文件所在文件夹中。...Pandas有很多我们可以使用功能,接下来将使用其中一些来看下我们数据集。 1、从“头”“脚” 查看第一最后五。默认为5,也可以自定义参数。 ? 2、查看特定数据 ?...五、数据计算 1、计算某一特定 输出结果是一个系列。称为单列数据透视表: ? 2、计数 统计每每行非NA单元格数量: ? 3、求和 按求和数据: ? 为每行添加总: ?...以上,我们使用方法包括: Sum_Total:计算总和 T_Sum:系列输出转换为DataFrame并进行 Re-index:添加缺少 Row_Total:T_Sum附加到现有的DataFrame

8.3K30

统计师Python日记【第5天:Pandas,露两手】

加总 2. 描述性统计 3. 相关系数 二、缺失处理 1. 丢弃缺失 2. 填充缺失 三、层次化索引 1. 层次索引选取子集 2. 自定义变量名 3. 变量名与索引互换 4....上一集开始学习了Pandas数据结构(Series和DataFrame),以及DataFrame一些基本操作:改变索引名、增加一、删除一、排序。 今天我继续学习Pandas。...相关系数 利用 .corr() 可以计算相关系数,比如计算四个季度相关系数: ? 计算年份相关系数呢?一下就可以了: ? 然而可惜是——没有P!...也可以单独只计算两系数,比如计算S1与S3相关系数: ? 二、缺失处理 Pandas和Numpy采用NaN来表示缺失数据, ? 1....数据透视表 大家都用过excel数据透视表,把标签和标签随意布局,pandas也可以这么实施,使用 .unstack() 即可: ? 四、数据导入导出 1.

3K70

Pandas Cookbook》第04章 选取数据子集1. 选取Series数据2. 选取DataFrame3. 同时选取DataFrame4. 整数和标签选取数据5. 快速选取标量6

选取Series数据 # 读取college数据集,查看CITY前5 In[2]: college = pd.read_csv('data/college.csv', index_col='INSTNM...同时选取DataFrame # 读取college数据集,给索引命名为INSTNM;选取前3和前4 In[23]: college = pd.read_csv('data/college.csv...# 选取两所有 In[25]: college.iloc[:, [4,6]].head() Out[25]: ?...快速选取标量 # 通过标签赋值给一个变量,loc选取 In[37]: college = pd.read_csv('data/college.csv', index_col='INSTNM')...惰性行切片 # 读取college数据集;从索引1020,每隔一个取一 In[50]: college = pd.read_csv('data/college.csv', index_col='

3.4K10

Python数据分析实战之数据获取三大招

header参数可以是一个list例如:[0,1,3],这个list表示文件中这些作为标题(意味着每一有多个标题),介于中间行将被忽略掉(例如本例中2;本例中数据1,2,4行将被作为多级标题出现...If [1, 2, 3] -> 解析1,2,3作为独立日期; list of lists. e.g. If [[1, 3]] -> 合并1,3列作为一个日期使用 dict, e.g....{‘foo’ : [1, 3]} -> 1,3合并,并给合并后起名为"foo" 2、常见问题 路径内有中文csv >>> import pandas as pd >>> #df=pd.read_csv...解决方案: 1, pd.read_csv('./test.csv', parse_dates=[3]) 特定日期解析为日期格式; 2, 先使用默认file = pd.read_csv('....布尔, 选填, 默认为False, 用来指定是否, 如果为True, 则 ndmin : int, optional 整数型, 选填, 默认为0, 用来指定返回数据至少包含特定维度数组,

6.4K30

pandas系列11-cutstackmelt

pandas系列10-数值操作2 本文是书《对比Excel,轻松学习Python数据分析》第二篇,主要内容包含 区间切分 插入数据( 索引重塑 长宽表转换 区间切分 Excel Excel...插入新 Excel Excel直接在确定要加入某行或者前面,在菜单栏中选择加入即可 ?...行列互换 行列互换实际上就是意思 excel 现将要转换数据进行复制 在粘贴时候勾选\color{red}{选择性粘贴},再选择即可 ? 效果图 ?...Python pandas只需要调用.T方法即可 ? 索引重塑 所谓索引重塑就是原来索引重新进行构造。两种常见表示数据结构: 表格型 树形 下面?...company和name是索引 Year是属性 Sale是

3.4K10

别找了,这是 Pandas 最详细教程了

本文自『机器之心编译』(almosthuman2014) Python 是开源,它很棒,但是也无法避免开源一些固有问题:很多包都在做(或者在尝试做)同样事情。...data.loc[8] 打印出第八 data.loc[8, column_1 ] 打印第八名为「column_1 data.loc[range(4,6)] 第四第六(左闭右开)数据子集...更新数据 data.loc[8, column_1 ] = english 第八名为 column_1 替换为「english」 在一代码中改变多 好了,现在你可以做一些在 excel....value_counts() 函数输出示例 在所有或者全数据上进行操作 data[ column_1 ].map(len) len() 函数被应用在了「column_1每一个元素上...总结一下,pandas 有以下优点: 易用,所有复杂、抽象计算都隐藏在背后了; 直观; 快速,即使不是最快也是非常快

2K20

Python数据分析实战之数据获取三大招

header参数可以是一个list例如:[0,1,3],这个list表示文件中这些作为标题(意味着每一有多个标题),介于中间行将被忽略掉(例如本例中2;本例中数据1,2,4行将被作为多级标题出现...If [1, 2, 3] -> 解析1,2,3作为独立日期; list of lists. e.g. If [[1, 3]] -> 合并1,3列作为一个日期使用 dict, e.g....{‘foo’ : [1, 3]} -> 1,3合并,并给合并后起名为"foo" 2、常见问题 路径内有中文csv >>> import pandas as pd >>> #df=pd.read_csv...解决方案: 1, pd.read_csv('./test.csv', parse_dates=[3]) 特定日期解析为日期格式; 2, 先使用默认file = pd.read_csv('....布尔, 选填, 默认为False, 用来指定是否, 如果为True, 则 ndmin : int, optional 整数型, 选填, 默认为0, 用来指定返回数据至少包含特定维度数组,

6K20

最全面的Pandas教程!没有之一!

你可以逻辑运算符 &(与)和 |()来链接多个条件语句,以便一次应用多个筛选条件当前 DataFrame 上。举个栗子,你可以下面的方法筛选出同时满足 'W'>0 和'X'>1 : ?...比如,我们需要找到所有 Levels 中,Num = 22 : ? 清洗数据 删除填充空 在许多情况下,如果你 Pandas 来读取大量数据,往往会发现原始数据中会存在不完整地方。...当你使用 .dropna() 方法时,就是告诉 Pandas 删除掉存在一个多个空(或者)。删除是 .dropna(axis=0) ,删除是 .dropna(axis=1) 。...比如,表中所有 NaN 替换成 20 : ? 当然,这有的时候打击范围太大了。于是我们可以选择只对某些特定或者进行填充。比如只对 'A' 进行操作,在空处填入该平均值: ?...在 Pandas 里,主要用到 3 种方法: 首先是 .unique() 方法。比如在下面这个 DataFrame 里,查找 col2 所有不重复: ?

25.8K63

不会Pandas怎么

如果没有写 index=None,你会多出一个第一,内容是 12,3,...,一直到最后一。...data.loc[8] 打印出第八 data.loc[8, 'column_1'] 打印第八名为「column_1 data.loc[range(4,6)] 第四第六(左闭右开)数据子集...更新数据 第八名为 column_1 替换为「english」 在一代码中改变多 好了,现在你可以做一些在 excel 中可以轻松访问事情了。....value_counts() 函数输出示例 在所有或者全数据上进行操作 data['column_1'].map(len) len() 函数被应用在了「column_1每一个元素上...总结一下,pandas 有以下优点: 易用,所有复杂、抽象计算都隐藏在背后了; 直观; 快速,即使不是最快也是非常快。 它有助于数据科学家快速读取和理解数据,提高其工作效率。

1.5K40

快乐学习Pandas入门篇:Pandas基础

/table.xlsx')df_excel.head() 写入 结果输出到csx、txt、xls、xlsx文件中 df.to_csv('./new table.csv')df.to_excel('....索引对齐特性 这是Pandas中非常强大特性,在对多个DataFrame 进行合并或者加减乘除操作时,索引都重叠时候才能进行相应操作,否则会使用NA进行填充。...会直接改变原Dataframe; df['col1']=[1,2,3,4,5]del df['col1'] 方法3:pop方法直接在原来DataFrame上操作,且返回被删除,与pythonpop...Series转换为DataFrame 使用to_frame() 方法 s.to_frame()# T符号可以进行操作s.to_frame().T 常用基本函数 首先,读取数据 df = pd.read_csv...对于Series,它可以迭代每一()操作;对于DataFrame,它可以迭代每一个操作。 # 遍历Math所有,添加!

2.4K30

Pandas图鉴(四):MultiIndex

Pandas[1]是Python分析数据工业标准。只需敲几下键盘,就可以加载、过滤、重组和可视化数千兆字节异质信息。...这意味着你不能用它来实现df[:, 'population'],而不需要DataFrame(除非所有都是相同类型,否则会丢失类型)。...例如,要读取一个有三层高和四层宽索引DataFrame,你需要指定 pd.read_csv('df.csv', header=[0,1,2], index_col=[0,1,2,3]) 这意味着前三包含了信息...手动解读MultiIndex层数并不方便,所以更好办法是在DataFrame保存为CSV之前,所有头层数stack(),而在读取之后再将其unstack()。...一种方法是所有不相关索引层层叠加到索引中,进行必要计算,然后再将它们解叠回来(使用pdi.lock来保持原来顺序)。

35620

国外大神制作超棒 Pandas 可视化教程

作者:Jay Alammar 翻译:极客猴 润色:极客猴 如果读者们计划学习数据分析、机器学习、或者 Python 做数据科学研究,你会经常接触到 Pandas 库。...Pandas 是一个开源、能用于数据操作和分析 Python 库。 1.加载数据 加载数据最方便、最简单办法是我们能一次性把表格(CSV 文件或者 EXCEL 文件)导入。...Pandas 同样支持操作 Excel 文件,使用 read_excel() 接口能从 EXCEL 文件中读取数据。 2.选择数据 我们能使用标签来选择数据。...我们可以随意搭配标签和标签来进行切片,从而得到我们所需要数据。比如,我们想得到第 1, 2, 3 Artist 数据。...处理空Pandas 库提供很多方式。最简单办法就是删除空。 ? 除此之外,还可以使用取其他数值平均值,使用出现频率高进行填充缺失

2.7K20
领券