首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Python 数据处理:Pandas库使用

DataFrame既有行索引也有列索引,它可以被看做由Series组成字典(共用同一个索引)。DataFrame数据是以一个或多个二维块存放(而不是列表、字典或别的一维数据结构)。...---- 2.2 丢弃指定轴上项 丢弃某条轴上一个或多个项很简单,只要有一个索引数组列表即可。...时,你可能希望根据一个或多个进行排序。...无论如何,在计算相关系数之前,所有的数据项都会标签对齐。 ---- 3.2 唯一计数以及成员资格 还有一类方法可以从一维Series抽取信息。...计算Series唯一数组发现顺序返回 value_counts 返回一个Series,其索引为唯一,其为频率,计数值降序排列 有时,你可能希望得到DataFrame多个相关列一张柱状图

22.7K10
您找到你想要的搜索结果了吗?
是的
没有找到

70个NumPy练习:在Python下一举搞定机器学习矩阵运算

难度:2 问题:在iris_2d数据集20个随机位插入np.nan 答案: 33.如何找到numpy数组缺失位置?...难度:2 问题:在iris_2dsepallength(第1列)查找缺失数量和位置。 答案: 34.如何根据两个或多个条件过滤一个numpy数组?...难度:3 问题:过滤具有petallength(第3列)> 1.5和sepallength(第1列)<5.0iris_2d行。 答案: 35.如何从numpy数组删除包含缺失行?...答案: 44.如何列排序二维数组? 难度:2 问题:根据sepallength列对iris数据集进行排序。 答案: 45.如何在numpy数组中找到最频繁出现?...输入: 输出: 答案: 56.如何找到numpy二维数组每一行最大? 难度:2 问题:计算给定数组每一行最大。 答案: 57.如何计算numpy二维数组每行最小

20.6K42

看图学NumPy:掌握n维数组基础知识点,看这一篇就够了

math.isclose进行比较没有假设前提,而是基于用户给出一个合理abs_tol:math.isclose(0.1+0.2–0.3, abs_tol=1e-8) == True。...因此在二维数组,如果axis=0是列,那么axis=1就是行。 ? 矩阵运算 除了普通运算符(如+,-,*,/,//和**)以元素方式计算外,还有一个@运算符可计算矩阵乘积: ?...因此,NumPy总共有三种类型向量:一维数组二维行向量和二维列向量。这是两者之间显式转换示意图: ?...二维及更高维度,argmin和argmax函数返回最大最小索引: ? all和any两个函数也能使用axis参数: ?...不过NumPy具有多个函数,允许列进行排序: 1、第一列对数组排序:a[a[:,0].argsort()] ? argsort排序后,此处返回原始数组索引数组

6K20

解决ValueError: Expected 2D array, got 1D array instead: Reshape your data either

在机器学习算法,输入数据通常是一个二维数组,其中每一行表示一个样本,每一列表示一个特征。然而,如果输入数据是一个一维数组(即单个列表),算法就无法正确解读。因此,我们需要将一维数组转换成二维数组。...下面是几个示例代码,演示了如何使用​​reshape()​​函数来解决错误,并将一维数组转换为二维数组:pythonCopy codeimport numpy as np# 示例数据arr = np.array...还可以选择'F'(Fortran-style,列输出)或'A'(按照之前顺序输出)返回返回一个新数组,它和原始数组共享数据,但是具有新形状。...如果形状参数是多个整数参数,则它们顺序表示每个维度大小。reshape()函数返回是一个视图,这意味着它与原始数组共享内存。如果更改了视图中,原始数组也会受到影响;反之亦然。...根据默认输出顺序参数order='C',reshape()函数行输出数组元素。如果需要按列输出数组元素,可以设置order='F'。

78250

Python那些熟悉又陌生函数,每次看别人用得很溜,自己却不行?

for循环进行列表理解,以及如何使用一行简单代码创建列表,而不需要使用循环。...,很像map,但是它通过将每个元素与布尔过滤规则进行比较来返回原始列表一个子集。...除了起始点和停止点之外,还可以根据需要定义步长或数据类型。注意,停止点是一个“截止”,因此它不会包含在数组输出。...因此,给定一个起始点和停止点,以及一些,linspace将在NumPy数组为您均匀地分隔它们。这对于绘图时数据可视化和轴声明特别有用。...如果您考虑一下如何在Python对其进行索引,行是0,列是1,这与我们声明axis方式非常相似。疯狂,对吗?

1.3K10

Numpy进阶之排序小技巧

1、如何数组元素进行快速排序? 使用numpy.sort函数可以对数组进行排序,并返回排序好数组。...as np # 创建一个二维数组 x2 = np.array([[1,8,2,4],[4,5,1,3]]) x2 ''' 二维数组: array([[1, 8, 2, 4], [4, 5...'' import numpy as np # 创建二维数组 x2 = np.array([[0, 3], [2, 2]]) ''' 数组: array([[0, 3], [2, 2]])...给定多个排序键(可以将其解释为电子表格列),lexsort返回一个整数索引数组,该数组描述多个列排序顺序。 序列最后一个键用于主排序顺序,倒数第二个键用于辅助排序顺序,依此类推。...keys参数必须是可以转换为相同形状数组对象序列。 如果为keys参数提供了2D数组,则将其行解释为排序键,并根据最后一行,倒数第二行等进行排序。

91940

NumPy 笔记(超级全!收藏√)

花式索引根据索引数组作为目标数组某个轴下标来取值。对于使用一维整型数组作为索引,如果目标是一维数组,那么索引结果就是对应位置元素;如果目标是二维数组,那么就是对应下标的行。 ...external_loop给出是具有多个一维数组,而不是零维数组 广播迭代  如果两个数组是可广播,nditer 组合对象能够同时迭代它们。...分割数组  函数数组及操作split将一个数组分割为多个数组hsplit将一个数组水平分割为多个数组列)vsplit将一个数组垂直分割为多个数组行) numpy.split  numpy.split...算术平均值是沿轴元素总和除以元素数量。  numpy.average()  numpy.average() 函数根据在另一个数组给出各自权重计算数组中元素加权平均值。 ...**小端模式:**指数据高字节保存在内存高地址,而数据低字节保存在内存低地址,这种存储模式将地址高低和数据位权有效地结合起来,高地址部分权高,低地址部分权低。

4.6K30

python数据分析——数据选择和运算

在NumPy数组索引可以分为两大类: 一是一维数组索引; 二是二维数组索引。 一维数组索引和列表索引几乎是相同二维数组索引则有很大不同。...关键技术:这里介绍一下.iloc[函数]函数使用方法: ①函数 =自定义函数(函数返回需要是合法对象(= 整数、整数列表、整数切片、布 列表)) ②匿名函数lambda :使用方法 语法...merge()是Python最常用函数之一,类似于Excelvlookup函数,它作用是可以根据一个或多个键将不同数据集链接起来。...代码和输出结果如下所示: (3)使用“how”参数合并 关键技术:how参数指定如何确定结果表包含哪些键。如果左表或右表中都没有出现组合键,则联接表将为NA。...axis:轴,0代表行,1代表列,默认是0 ascending:升序或者降序,布尔,指定多个排序就可以使用布尔列表,默认是True inplace:布尔,默认是False,如果为True

12810

Python数学建模算法与应用 - 常用Python命令及程序注解

reverse 是一个可选参数,表示是否降序进行排序,默认为 False,表示升序排序。 使用 key 参数作用是根据指定规则生成排序,然后根据排序对元素进行排序。...最后,通过将 filtered_nums 转换为列表来打印出满足条件元素。 filter 函数在对可迭代对象进行筛选和过滤时非常有用,可以根据特定条件选择需要元素。...由于NumPy数组列存储,因此对二维数组使用sum()函数将对每一列进行求和。结果赋值给变量c1。...注意: axis取值范围取决于数组维度。对于一个二维数组,有效取值范围是0和1。 可以在不同操作多次使用axis参数,以便同时在多个轴上进行操作。...groupby 是 pandas 一个函数,用于根据一个或多个对 DataFrame 进行分组操作。它可以用于数据聚合、统计和分析。

1.3K30

图解NumPy:常用函数内在机制

二维情况则会更困难一些(人们正在请求这一功能)。 搜索向量元素 与 Python 列表相反,NumPy 数组没有索引方法。人们很久之前就在请求这个功能,但一直还没实现。...则不会对要比较数进行任何假设,而是依赖用户给出合理 abs_tol (对于典型 1 范围内,取默认 np.allclose atol 1e-8 就足够好了):math.isclose...因此在二维情况下,axis=0 是列计算,axis=1 是行计算。...根据广播原则,一维数组可被隐含地视为二维行向量,因此通常没必要在这两者之间执行转换——因此相应区域被阴影化处理。...,比如 - a[np.lexsort(np.flipud(a[2,5].T))] 会首先根据第 2 列排序,然后(当第 2 列相等时)再根据第 5 列排序。

3.6K10

图解NumPy:常用函数内在机制

二维情况则会更困难一些(人们正在请求这一功能)。 搜索向量元素 与 Python 列表相反,NumPy 数组没有索引方法。人们很久之前就在请求这个功能,但一直还没实现。...则不会对要比较数进行任何假设,而是依赖用户给出合理 abs_tol (对于典型 1 范围内,取默认 np.allclose atol 1e-8 就足够好了):math.isclose...因此在二维情况下,axis=0 是列计算,axis=1 是行计算。...根据广播原则,一维数组可被隐含地视为二维行向量,因此通常没必要在这两者之间执行转换——因此相应区域被阴影化处理。...,比如 - a[np.lexsort(np.flipud(a[2,5].T))] 会首先根据第 2 列排序,然后(当第 2 列相等时)再根据第 5 列排序。

3.2K20

软件测试|Python科学计算神器numpy教程(八)

numpy提供了如下方式来进行数组转置:transpose:将数组维度进行对换,比如二维数组维度(2,4)使用该方法后为(4,2)ndarray.T:与 transpose 方法相同rollaxis...:沿着哪条轴向后滚动,其它轴相对位置不会改变start:默认以 0 轴开始,可以根据数组维度调整它numpy.swapaxes()该方法用于交换数组两个轴,其语法格式如下:numpy.swapaxes...,而不改变数组元素数量。...,现将它们方法整合在一起,如下所示:连接数组:concatenate:沿指定轴连接两个或者多个相同形状数组stack:沿着新轴连接一系列数组hstack:水平顺序堆叠序列数组(列方向)垂直方向堆叠序列数组...(行方向)分割数组:split:将一个数组分割为多个数组hsplit:将一个数组水平分割为多个数组列)vsplit:将一个数组垂直分割为多个数组行)连接数组操作numpy.concatenate

13910

针对SAS用户:Python数据分析库pandas

可以认为Series是一个索引、一维数组、类似一列。可以认为DataFrames是包含行和列二维数组索引。好比Excel单元格行和列位置寻址。...PROC PRINT输出在此处不显示。 下面的单元格显示是范围输出。列列表类似于PROC PRINTVAR。注意此语法双方括号。这个例子展示了列标签切片。行切片也可以。...为了减轻上述错误发生,在下面的数组例子中使用np.nan(缺失数据指示符)。也要注意Python如何数组选择浮点数(或向上转型)。 ? 并不是所有使用NaN算数运算结果是NaN。 ?...df.columns返回DataFrame列名称序列。 ? 虽然这给出了期望结果,但是有更好方法。...从技术架构师开始,最近担任顾问,他建议企业领导如何培养和成本有效地管理他们分析资源组合。最近,这些讨论和努力集中于现代化战略,鉴于行业创新增长。

12.1K20

Python:Numpy详解

在 NumPy,每一个线性数组称为是一个轴(axis),也就是维度(dimensions)。比如说,二维数组相当于是两个一维数组,其中第一个一维数组每个元素又是一个一维数组。...,返回新列表元素在旧列表位置(下标),并以列表形式储return_inverse:如果为true,返回旧列表元素在新列表位置(下标),并以列表形式储return_counts:如果为true,返回去重数组元素在原数组出现次数...算术平均值是沿轴元素总和除以元素数量。  numpy.average() numpy.average() 函数根据在另一个数组给出各自权重计算数组中元素加权平均值。 ...小端模式:指数据高字节保存在内存高地址,而数据低字节保存在内存低地址,这种存储模式将地址高低和数据位权有效地结合起来,高地址部分权高,低地址部分权低。  ...fix_imports: 可选,为了方便 Pyhton2 读取 Python3 保存数据。 np.savez numpy.savez() 函数将多个数组保存到以 npz 为扩展名文件

3.5K00

用在数据科学上 Python:你可能忘记 8 个概念

对于每一个知识点我都给出了简短描述和例子。另外,我也给出了视频和其他资料链接,这些有助于加深这些知识点理解。 列表推导式 在写循环时候,每次定义一堆列表是相当无聊。...具体说,map 函数通过对列表每一个元素进行操作,将列表转换成一个新列表。在下面的这个例子,map 函数将每一个元素乘以 2,变成一个新元素。...除了开始 start 和结束 stop,还可以根据需要定义步长 step 或数据类型。这里需要注意,结束是一个「截止」,所以不会包含在生成数组。...因此,给定一个开始 start 和结束 stop,以及个数值 num,linspace 函数将在 NumPy 数组均分这个范围。这在数据可视化和绘图时轴声明很有用。...Concat 函数可以在下方或旁边合并一个或多个 dataframe(取决于如何定义轴)。 ? Merge 函数在作为主键指定公共列上合并多个 dataframe。 ?

1.2K10

Python 数据分析(PYDA)第三版(二)

因此,这些是等价: In [75]: arr2d[0][2] Out[75]: 3 In [76]: arr2d[0, 2] Out[76]: 3 请参见图 4.1 以了解如何二维数组上进行索引说明...在数据分析,where典型用法是根据另一个数组生成一个新数组。假设你有一个随机生成数据矩阵,并且你想用 2 替换所有正值和用-2 替换所有负值。...如果您已经有一个不包含这些条目的索引数组列表,那么从轴删除一个或多个条目就很简单,因为您可以使用reindex方法或基于.loc索引。...表 5.4:DataFrame 索引选项 类型 注释 df[column] 从 DataFrame 中选择单个列或列序列;特殊情况便利:布尔数组过滤行)、切片(切片行)或布尔 DataFrame(根据某些条件设置...,降序计数排序 在某些情况下,您可能希望在 DataFrame 多个相关列上计算直方图。

20500

NumPy 数组学习手册:1~5

它被称为row_stack(),对于一维数组,它只是将数组行堆叠为二维数组: In: row_stack((oned, twice_oned)) Out: array([[0, 1],[0, 2]])...位置列表索引 让我们使用ix_()函数来随机播放 Lena 图像。 此函数从多个序列创建一个网格。 作为参数,我们给出一维序列,并且该函数返回 NumPy 数组元组。...数组有几个描述它们属性。 我们了解到,这些属性之一是数据类型,在 NumPy ,该数据类型由完整对象表示。 就像 Python 列表一样,可以有效地对 NumPy 数组进行切片和索引。...日照时间(也以 0.1 小时给出)是根据全球辐射值得出。 注意单词“全球”,而不是“太阳”。 因此,这里考虑了其他辐射源,但是目前细节并不十分重要。 我们将绘制降水持续时间直方图。...再谈过滤 过滤过程后续步骤要求我们对最小和最大三次样条进行插。 这将创建一个上信封和一个下信封,它们应包围数据。 EMD 处理下一次迭代需要包络线平均值。

2.5K21

《利用Python进行数据分析·第2版》第5章 pandas入门5.1 pandas数据结构介绍5.2 基本功能5.3 汇总和计算描述统计5.4 总结

使用NumPy函数或类似NumPy运算(如根据布尔型数组进行过滤、标量乘法、应用数学函数等)都会保留索引链接: In [21]: obj2[obj2 > 0] Out[21]: d 6 b...DataFrame既有行索引也有列索引,它可以被看做由Series组成字典(共用同一个索引)。DataFrame数据是以一个或多个二维块存放(而不是列表、字典或别的一维数据结构)。...丢弃指定轴上项 丢弃某条轴上一个或多个项很简单,只要有一个索引数组列表即可。...方法用于计算两个Series重叠、非NA索引对齐相关系数。...无论如何,在计算相关系数之前,所有的数据项都会标签对齐。 唯一计数以及成员资格 还有一类方法可以从一维Series抽取信息。

6K70

清晰易懂Numpy入门教程

如何构建numpy数组 构建numpy数组方法很多,比较常用方法是用np.array函数对列表进行转化。...然而,numpy有更多优势,让我们一起来发现。 numpy可以通过列表列表来构建二维数组。...如何观察数组属性大小和形状(shape) 一维数组列表构建,二维数组arr2d由列表列表构建,二维数组有行和列,比如矩阵,三维数组由嵌入了两个列表列表构建。...,布尔型索引数组过滤前(array-to-be-filtered)数组大小相等,布尔型数组只包含Ture和False变量,Ture变量对应数组索引位置保留了过滤 。...(missing)和无穷大(infinite) 缺失可以用np.nan对象表示,np.inf表示无穷大,下面用二维数组举例: # 插入nan变量和inf变量 arr2[1,1] = np.nan

1.5K40
领券