首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

详解pd.DataFrame中的几种索引变换

导读 pandas中最常用的数据结构是DataFrame,而DataFrame相较于嵌套list或者二维numpy数组更好用的原因之一在于其提供了行索引和列名。...惯例开局一张图 01 索引简介与样例数据 Series和DataFrame是pandas中的主要数据结构类型(老版本中曾有三维数据结构Panel,是DataFrame的容器,后被取消),而二者相较于传统的数组或...关于索引的详细介绍可参考前文:python数据科学系列:pandas入门详细教程。 这里,为了便于后文举例解释,给出基本的DataFrame样例数据如下: ?...,以新接收的一组标签序列作为索引,当原DataFrame中存在该索引时则提取相应行或列,否则赋值为空或填充指定值。...所以,对索引执行变换的另一种可选方式是用map函数,其具体操作方式与DataFrame常规map操作一致,接收一个函数作为参数即可: ?

2.5K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    使用 matplotlib 绘制带日期的坐标轴

    使用 matplotlib 绘制带日期的坐标轴 源码及参考链接 效果图 [运行结果] 代码 import numpy as np import matplotlib.pyplot as plt import...np.random.randn(len(x))*3+2 data = {} # 将数字(天数差)转为日期对象 numpy.datetime64 data['date'] = [np.datetime64...(旋转)使得每个字符串有足够的空间而不重叠 fig.autofmt_xdate() plt.show() 代码中使用到的类简单介绍一下,具体参数或用法可以点击查看。...matplotlib.dates.datestr2num() 将日期转化为天数差 numpy.datetime64() 将数字(天数差)转为日期对象 numpy.datetime64 matplotlib.dates.MonthLocator...() 配合设置日期刻度间隔 matplotlib.dates.DateFormatter() 设置日期显示格式 fig.autofmt_xdate() 自动调整坐标轴,未调用字符串会重叠在一起 [未调整字符串

    4.8K00

    这几个方法颠覆你对Pandas缓慢的观念!

    一个技巧是根据你的条件选择和分组DataFrame,然后对每个选定的组应用矢量化操作。 在下一个示例中,你将看到如何使用Pandas的.isin()方法选择行,然后在向量化操作中实现上面新特征的添加。...在执行此操作之前,如果将date_time列设置为DataFrame的索引,则会使事情更方便: df.set_index('date_time', inplace=True) @timeit(repeat...然后,当你将这些布尔数组传递给DataFrame的.loc索引器时,你将获得一个仅包含与这些小时匹配的行的DataFrame切片。在那之后,仅仅是将切片乘以适当的费率,这是一种快速的矢量化操作。...它类似于Pandas的cut(),因为数据将被分箱,但这次它将由一个索引数组表示,这些索引表示每小时所属的bin。...例如,如果您有10年的分钟频率耗电量数据,即使你指定格式参数,只需将日期和时间转换为日期时间可能需要20分钟。你真的只想做一次,而不是每次运行你的模型,进行测试或分析。

    2.9K20

    这几个方法会颠覆你的看法

    一个技巧是根据你的条件选择和分组DataFrame,然后对每个选定的组应用矢量化操作。 在下一个示例中,你将看到如何使用Pandas的.isin()方法选择行,然后在向量化操作中实现上面新特征的添加。...在执行此操作之前,如果将date_time列设置为DataFrame的索引,则会使事情更方便: df.set_index('date_time', inplace=True) @timeit(repeat...然后,当你将这些布尔数组传递给DataFrame的.loc索引器时,你将获得一个仅包含与这些小时匹配的行的DataFrame切片。在那之后,仅仅是将切片乘以适当的费率,这是一种快速的矢量化操作。...它类似于Pandas的cut(),因为数据将被分箱,但这次它将由一个索引数组表示,这些索引表示每小时所属的bin。...例如,如果您有10年的分钟频率耗电量数据,即使你指定格式参数,只需将日期和时间转换为日期时间可能需要20分钟。你真的只想做一次,而不是每次运行你的模型,进行测试或分析。

    3.5K10

    Python之数据规整化:清理、转换、合并、重塑

    索引上的合并 DataFrame有merge和join索引合并。 4. 重塑和轴向旋转 有许多用于重新排列表格型数据的基础运算。这些函数也称作重塑(reshape)或轴向旋转(pivot)运算。...4.1 重塑层次化索引 层次化索引为DataFrame数据的重排任务提供了良好的一致性方式。主要两种功能: stack:将数据的列“旋转”为行。...5.2 替换值 replace可以由一个带替换值组成的列表以及一个替换值 data.replace([-999,-1000],np.nan) 5.3 重命名轴索引 轴标签也可通函数或映射进行转换,从而得到一个新对象轴还可以被就地修改...6.2 正则表达式 描述一个或多个空白符的regex是\s+ 创建可重用的regex对象: regex = re.complie('\s+') regex.split(text) 6.3 pandas中矢量化的字符串函数...实现矢量化的元素获取操作:要么使用str.get,要么使用str属性上使用索引。

    3.1K60

    POSTGRESQL 带时区的日期的技术与狠活

    最近最热门的歇后语就是,“技术与狠活”, 数据库中的POSTGRESQL 的日期数据有什么技术与狠活,咱们今天来说说。...首先POSTGRESQL 中的带有时区的日期格式包含了,时间和日期两种,这里官方建议大家使用日期类型的而不是直接使用时间类型的带有时区的类型。...在使用时区的格式时,实际上POSTGRESQL 是只存储一种时间就是UTC的时间格式,通过UTC 的时间对应当前系统的时区来进行日期和时间的显示。...AT TIME ZONE 'CST'; 从上面的四个命令中,其中now() 本身是带有时区性质的,这点需要被确认,另外在日期后面也可以改变时间的本身的时区。...我们变换方式,在插入的日期中变换格式,将日期标定为UTC 的时间。

    3K20

    仿IOS 带字母索引的滑轮控件

    效果大概就是这样,右边是字母索引效果 做开发的时候,经常碰到产品经理设计出来的界面是参考IOS控件设计出来的 ,比如上图效果  ios有个控件是UIPickerView  就是可以上下滑动 并有些3d...但是android并没有提供这样的原生控件支持,所以需要通过其他方式实现类似效果。上图就是我开发中用到的一个效果。...的中心位置,一直不变 */ private int mCurrentSelected; private Paint mPaint; private float mMaxTextSize =...再往上往下绘制其余的text float scale = parabola(mViewHeight / 4.0f, mMoveLen); float size = (mMaxTextSize -...另外右边是个字母索引条。想必大家都做过,就不一一粘贴代码了。我将这个整理出来一个demo。

    1.1K10

    再见 for 循环!pandas 提速 315 倍!

    如果这个计算只是大规模计算的一小部分,那么真的应该提速了。这也就是矢量化操作派上用场的地方。 三、矢量化操作:使用.isin选择数据 什么是矢量化操作?...一个技巧是:根据你的条件,选择和分组DataFrame,然后对每个选定的组应用矢量化操作。 在下面代码中,我们将看到如何使用pandas的.isin()方法选择行,然后在矢量化操作中实现新特征的添加。...在执行此操作之前,如果将date_time列设置为DataFrame的索引,会更方便: # 将date_time列设置为DataFrame的索引 df.set_index('date_time', inplace...提示,上面.isin()方法返回的是一个布尔值数组,如下: [False, False, False, ..., True, True, True] 布尔值标识了DataFrame索引datetimes...然后把这些布尔数组传递给DataFrame的.loc,将获得一个与这些小时匹配的DataFrame切片。然后再将切片乘以适当的费率,这就是一种快速的矢量化操作了。

    2.8K20

    Pandas创建DataFrame对象的几种常用方法

    DataFrame是pandas常用的数据类型之一,表示带标签的可变二维表格。本文介绍如何创建DataFrame对象,后面会陆续介绍DataFrame对象的用法。...生成后面创建DataFrame对象时用到的日期时间索引: ? 创建DataFrame对象,索引为2013年每个月的最后一天,列名分别是A、B、C、D,数据为12行4列随机数。 ?...根据字典来创建DataFrame对象,字典的“键”作为DataFrame对象的列名,其中B列数据是使用pandas的date_range()函数生成的日期时间,C列数据来自于使用pandas的Series...()生成的一维带标签数组,D列数据来自于使用numpy生成的一维数组,E列数据为几个字符串,F列数据是几个相同的字符串。...下面图中的代码与上面代码的不同在于,C列使用index属性修改了整个DataFrame对象的索引。上面代码使用数字做索引,下面的代码使用字符串做索引。 ?

    3.6K80

    2.Pandas的数据结构SeriesDataFrame3.Pandas的索引操作索引对象IndexSeries索引DataFrame索引高级索引:标签

    DataFrame是一个表格型的数据结构,它含有一组有序的列,每列可以是不同类型的值。...DataFrame既有行索引也有列索引,它可以被看做是由Series组成的字典(共用同一个索引),数据是以二维结构存放的。...索引对象Index 1.Series和DataFrame中的索引都是Index对象 示例代码: print(type(ser_obj.index)) print(type(df_obj2.index...:标签、位置和混合 Pandas的高级索引有3种 1. loc 标签索引 DataFrame 不能直接切片,可以通过loc来做切片 loc是基于标签名的索引,也就是我们自定义的索引名 示例代码...NaN 6 NaN 7 NaN 8 NaN 9 NaN dtype: float64 DataFrame的对齐运算 DataFrame按行、列索引对齐 示例代码:

    3.9K20

    通宵翻译Pandas官方文档,写了这份Excel万字肝货操作!

    Series 序列是表示 DataFrame 的一列的数据结构。使用序列类似于引用电子表格的列。 4. Index 每个 DataFrame 和 Series 都有一个索引,它们是数据行上的标签。...索引值也是持久的,所以如果你对 DataFrame 中的行重新排序,特定行的标签不会改变。 5. 副本与就地操作 大多数 Pandas 操作返回 Series/DataFrame 的副本。...pandas 通过在 DataFrame 中指定单个系列来提供矢量化操作。可以以相同的方式分配新列。DataFrame.drop() 方法从 DataFrame 中删除一列。...在 Pandas 中,您需要在从 CSV 读取时或在 DataFrame 中读取一次时,将纯文本显式转换为日期时间对象。 解析后,Excel电子表格以默认格式显示日期,但格式可以更改。...在 Pandas 中,您通常希望在使用日期进行计算时将日期保留为日期时间对象。输出部分日期(例如年份)是通过电子表格中的日期函数和 Pandas 中的日期时间属性完成的。

    19.6K20
    领券