/前言/ 前几天群里有个小伙伴问了一个问题，关于Python读取文件夹下多个CSV文件中的第一列数据并求其最大值和最小值，大家讨论的甚为激烈，在此总结了两个方法，希望后面有遇到该问题的小伙伴可以少走弯路...通常我们通过Python来处理数据，用的比较多的两个库就是numpy和pandas，在本篇文章中，将分别利用两个库来进行操作。...3、其中使用pandas库来实现读取文件夹下多个CSV文件中的第一列数据并求其最大值和最小值的代码如下图所示。 ? 4、通过pandas库求取的结果如下图所示。 ?...通过该方法，便可以快速的取到文件夹下所有文件的第一列的最大值和最小值。 5、下面使用numpy库来实现读取文件夹下多个CSV文件中的第一列数据并求其最大值和最小值的代码如下图所示。 ?.../小结/ 本文基于Python，使用numpy库和pandas库实现了读取文件夹下多个CSV文件，并求取文件中第一列数据的最大值和最小值，当然除了这两种方法之外，肯定还有其他的方法也可以做得到的，欢迎大家积极探讨
1 使用pandas读入csv文件后，发现列没分割开，所以将sep参数调整为\t，发现还是没分割开，再试空格，再试\s+，即各种空白字符组合，有几例能分隔开，但是还有些列无法分割开。...如下文件a.csv，分隔符是逗号，你注意看Hi,pythoner单元格，它的取值中含有一个逗号 等我使用pandas读入此文件时，会发生什么： import pandas as pd pd....__version__ # '1.2.4' pd.read_csv('a.csv', index_col=False) 读入后，Hi,pythoner单元格的取值被截断为Hi 如果多个单元格存在多于...1个逗号，因为列无法对其还会抛异常，为此read_csv还提供一个参数error_bad_lines，专门丢弃这种含有多个逗号的行，这种错误在大数据量时尤其容易出现，为了第一时间读入数据往往将error_bad_lines...如果csv文件的分隔符是\t或其他，也同样面临一样的问题，如果分隔符恰好出现在单元格中，这种错误是不可避免的。 3 如果你的数据恰好又大量出现了分隔符的行，这就需要引起重视了。
在计算机编程中，pandas是Python编程语言的用于数据操纵和分析的软件库。特别是，它提供操纵数值表格和时间序列的数据结构和运算操作。...它的名字衍生自术语“面板数据”（panel data），这是计量经济学的数据集术语，它们包括了对同一个体的在多个时期上的观测。...目录 Python处理Excel数据-pandas篇 一、安装环境 1、打开以下文件夹（个人路径会有差异）： 2、按住左Shift右键点击空白处，选择【在此处打开Powershell窗口（s）】 3...Administrator\AppData\Local\Programs\Python\Python38\Scripts Jetbrains全家桶1年46，售后保障稳定 2、按住左Shift右键点击空白处...) # 填充缺失值为100 data.fillna({ '语文':100,'数学':100,}) # 不同列填充不同值 data.fillna(
此外，我们希望能够附加标签到列、透视数据等。 我们从介绍对象Series和DataFrame开始。可以认为Series是一个索引、一维数组、类似一列值。...具体细节讨论见第11章— pandas Readers。 从读取UK_Accidents.csv文件开始。该文件包括从2015年1月1日到2015年12月31日中国香港的车辆事故数据。....注意DataFrame的默认索引（从0增加到9）。这类似于SAS中的自动变量n。随后，我们使用DataFram中的其它列作为索引说明这。...缺失值对于数值默认用(.)表示，而字符串变量用空白(‘ ‘)表示。因此，两种类型都需要用户定义的格式。....fillna(method="ffill")是一种“前向”填充方法。 NaN被上面的“下”列替换为相邻单元格。
合并数据集 pandas.merge可根据一个或者多个不同DataFrame中的行连接起来。 pandas.concat可以沿着一条轴将多个对象堆叠到一起。...实例方法combine_first可以将重复数据编接在一起，用一个对象中的值填充另一个对象中的缺失值。 2....数据风格的DataFrame合并操作 2.1 数据集的合并（merge）或连接（jion）运算时通过一个或多个键将行链接起来的。如果没有指定，merge就会将重叠列的列名当做键，最好显示指定一下。...pd.merge(df1,df2,on='key') 2.2 默认情况下，merge做的是"inner"连接，结果中的键是交集。其他方式有“left”、“right”、“outer”。...6.2 正则表达式 描述一个或多个空白符的regex是\s+ 创建可重用的regex对象： regex = re.complie('\s+') regex.split(text) 6.3 pandas中矢量化的字符串函数
dataframe，类似sql中的join concat：合并多个dataframe，类似sql中的union pivot：按照指定的行列重塑表格 pivot_table：数据透视表，类似excel中的透视表...转换 过滤 groupby：按照指定的列或多个列对数据进行分组 agg：对每个分组应用自定义的聚合函数 transform：对每个分组应用转换函数，返回与原始数据形状相同的结果 rank：计算元素在每个分组中的排名...: 填充或替换缺失值 interpolate: 对缺失值进行插值 duplicated: 标记重复的行 drop_duplicates: 删除重复的行 str.strip: 去除字符串两端的空白字符 str.lower...和 str.upper: 将字符串转换为小写或大写 str.replace: 替换字符串中的特定字符 astype: 将一列的数据类型转换为指定类型 sort_values: 对数据框按照指定列进行排序...rename: 对列或行进行重命名 drop: 删除指定的列或行 数据可视化 pandas.DataFrame.plot.area：绘制堆积图 pandas.DataFrame.plot.bar：绘制柱状图
DataFrame Pandas 中的 DataFrame 类似于 Excel 工作表。虽然 Excel 工作簿可以包含多个工作表，但 Pandas DataFrames 独立存在。 3....在 Pandas 中，索引可以设置为一个（或多个）唯一值，这就像在工作表中有一列用作行标识符一样。与大多数电子表格不同，这些索引值实际上可用于引用行。...列操作 在电子表格中，公式通常在单个单元格中创建，然后拖入其他单元格以计算其他列的公式。在 Pandas 中，您可以直接对整列进行操作。...pandas 通过在 DataFrame 中指定单个系列来提供矢量化操作。可以以相同的方式分配新列。DataFrame.drop() 方法从 DataFrame 中删除一列。...如果匹配多行，则每个匹配都会有一行，而不仅仅是第一行； 它将包括查找表中的所有列，而不仅仅是单个指定的列； 它支持更复杂的连接操作； 其他注意事项 1.
DataFrame既有行索引也有列索引，其中的数据是以一个或多个二维块存放的，而不是列表、字典或别的一维数据结构。...也可以给某一列赋值一个列表或数组，其长度必须跟DataFrame长度相匹配。如果赋值的是一个Series，则对应的索引位置将被赋值，其他位置的值被赋予空值。...也可以给fillna函数一个字典，就可以实现对不同的列填充不同的值。 Df.fillna({1:0.5,3:-1})——1列的缺失值用0.5填充，3列的缺失值用-1填充。...（列从0开始计数） 6、汇总和计算描述统计 就是针对数组进行常用的数学和统计运算。大部分都属于约简和汇总统计。 其中有求和（sum）运算、累计（cumsum）运算、平均值（mean）等运算。...8、值计数 用于计算一个Series中各值出现的次数。 9、层次化索引 层次化索引是pandas的一个重要功能，它的作用是使你在一个轴上拥有两个或多个索引级别。
数据处理过程中，经常会遇到数据有缺失值的情况，本文介绍如何用Pandas处理数据中的缺失值。 一、什么是缺失值 对数据而言，缺失值分为两种，一种是Pandas中的空值，另一种是自定义的缺失值。 1....从Python解释器来看，np.nan的类型是float，None的类型是NoneType，两者在Pandas中都显示为NaN，pd.NaT的类型是Pandas中的NaTType，显示为NaT。...subset: 删除空值时，只判断subset指定的列(或行)的子集，其他列(或行)中的空值忽略，不处理。当按行进行删除时，subset设置成列的子集，反之。...DataFrame的众数也是一个DataFrame数据，众数可能有多个(极限情况下，当数据中没有重复值时，众数就是原DataFrame本身)，所以用mode()函数求众数时取第一行用于填充就行了。...除了可以在fillna()函数中传入method参数指定填充方式外，Pandas中也实现了不同填充方式的函数，可以直接调用。
120岁，楼层的高度达到了1000层，以及其他的一些非常不合理的场景。...2、错误的类型，你比如，样例中，几乎所有的数据都是整形，然而，有一些是字符串类型，如果不进行处理，将这些数据直接喂给算法，一般情况下是要崩溃的。...（从0开始）的方式来取子集，通常，逗号前面是行相关的一些条件限制，逗号右边则是列相关的限制。...比如，我取得 image.png 2、处理空白数据行 image.png 这种就很简单愉快了，一个api就可以删除或者填充有空白数据的样本了。...这个就不演示了，因为我是爬虫爬取数据，所以在爬取的过程中，我已经对数据进行了一些基础的处理，程序控制不可能出现空白数据了，所以，我也是建议，自己写爬虫去获取数据，这些减轻数据清洗环节的压力。
axis 参数用于控制行或列，跟其他不一样的是，axis=0 （默认）表示操作行，axis=1 表示操作列。 how 参数可选的值为 any（默认） 或者 all。...thresh参数的类型为整数，它的作用是，比如 thresh=3，会在一行/列中至少有 3 个非空值时将其保留。...GuangZhou James ShenZhen Andy NaN Alice NaN Name: city, dtype: object 使用其他对象填充...除了我们自己手动丢弃、填充已经替换缺失值之外，我们还可以使用其他对象来填充。...pandas python
在numpy中，提供了一系列函数从文件中读取内容并生成矩阵，常用的函数有以下两个 1. loadtxt loadtxt适合处理数据量较小的文件，基本用法如下 >>> import numpy as np...默认采用空白作为分隔符，将文件中的内容读取进来，并生成矩阵，要求每行的内容数目必须一致，也就是说不能有缺失值。由于numpy矩阵中都是同一类型的元素，所以函数会自动将文件中的内容转换为同一类型。...]]) # 选择对应的列，下标从0开始 >>> np.loadtxt('a.txt', usecols = (1, )) array([ 2., 4....]]) # 选择对应的列，下标从0开始 >>> np.genfromtxt('a.txt', usecols = (1,)) array([ 2., 4.])...以上就是numpy文件读写的基本用法，numpy作为科学计算的底层核心包，有很多的包对其进行了封装，提供了更易于使用的借口，最出名的比如pandas，通过pandas来进行文件读写，会更加简便，在后续的文章中再进行详细介绍
：Excel 透视表中的 列标签 - 参数 values：Excel 透视表中的 数值区域 - 参数 aggfunc：Excel 透视表中的 数值区域 的字段的统计方式(Excel 默认是计数) "好像少了点东西...中添加这2列是非常简单 "Excel 透视表是百分比呀" pandas 透视表功能没有参数设置，因为本身透视出来的还是一个 DataFrame ，这可以利用之前学到的一切技巧来为这个 DataFrame...很简单，pivot_table 中的大部分参数都可以放入多个字段(跟 Excel 透视表操作一样)： - index 参数传入多个字段的列表 从结果看到，每个等级的船舱还是"女性比男性更可能生还" "...数据中 ticket 列是船票号，**有相同的船票号并且多于1人以上的，可以视为是购买套票**的，也就是一起上船的。...解决思路就是：把 ticket 列内容相同的归为一组，组内有多于1行记录的，就是有小伙伴一起上船的 相信一直看本系列的小伙伴马上就知道，这在 pandas 中不就是分组操作吗！
Pandas 同样支持操作 Excel 文件，使用 read_excel() 接口能从 EXCEL 文件中读取数据。 2. 选择数据 我们能使用列标签来选择列数据。...同样，我们可以使用行标签来获取一列或者多列数据。表格中的下标是数字，比如我们想获取第 1、2 行数据，可以使用 df[1:3] 来拿到数据。 ? Pandas 的利器之一是索引和数据选择器。...处理空值，Pandas 库提供很多方式。最简单的办法就是删除空值的行。 ? 除此之外，还可以使用取其他数值的平均值，使用出现频率高的值进行填充缺失值。...这也是 Pandas 库强大之处，能将多个操作进行组合，然后显示最终结果。 6....从现有列中创建新列 通常在数据分析过程中，我们发现自己需要从现有列中创建新列，使用 Pandas 也是能轻而易举搞定。 ? - end -
从旧版数据库手动传输时，数据丢失。 发生编程错误。 用户选择不填写字段。 其中一些来源只是简单的随机错误。在其他时候，可能会有更深层的原因导致数据丢失。...这些是Pandas可以检测到的缺失值。 回到我们的原始数据集，让我们看一下“ ST_NUM”列。 ? 第三列中有一个空单元格。在第七行中，有一个“ NA”值。 显然，这些都是缺失值。...我们可以看到Pandas在空白处填充了“NA”。...在此列中，有四个缺失值。 n/a NA — na 从上面中，我们知道Pandas会将“ NA”识别为缺失值，但其他的情况呢？让我们来看看。...不幸的是，其他类型未被识别。 如果有多个用户手动输入数据，则这是一个常见问题。也许我喜欢使用“n / a”，但是其他人喜欢使用“ na”。 检测这些各种格式的一种简单方法是将它们放在列表中。
： Excel 透视表中的 列标签 - 参数 values：Excel 透视表中的 数值区域 - 参数 aggfunc：Excel 透视表中的 数值区域 的字段的统计方式(Excel 默认是计数) "...中添加这2列是非常简单 "Excel 透视表是百分比呀" pandas 透视表功能没有参数设置，因为本身透视出来的还是一个 DataFrame ，这可以利用之前学到的一切技巧来为这个 DataFrame...很简单，pivot_table 中的大部分参数都可以放入多个字段(跟 Excel 透视表操作一样)： - index 参数传入多个字段的列表 从结果看到，每个等级的船舱还是"女性比男性更可能生还" "...数据中 ticket 列是船票号，**有相同的船票号并且多于1人以上的，可以视为是购买套票**的，也就是一起上船的。...解决思路就是：把 ticket 列内容相同的归为一组，组内有多于1行记录的，就是有小伙伴一起上船的 相信一直看本系列的小伙伴马上就知道，这在 pandas 中不就是分组操作吗！
'] = df['Age'] + 1 print(df, end="\n\n") # 缺失值处理 填充缺失值 使用每列的均值填充缺失值 df['Age'].fillna(df['Age'].mean...) # 使用每列的均值填充缺失值 df_filled_mean = df.fillna(df.mean()) print(df_filled_mean) # 使用每列的中位数填充缺失值 df_filled_median...重塑数据通常包括将数据从宽格式转换为长格式，或从长格式转换为宽格式。...pandas操作excel pandas不能直接操作excel，因此我们需要依赖其他的第三方库进行操作，比如openpyxl。...# 读取 Excel 文件中的多个工作表 dfs = pd.read_excel('data.xlsx', sheet_name=['Sheet1', 'Sheet2']) print(dfs['Sheet1
Pandas 同样支持操作 Excel 文件，使用 read_excel() 接口能从 EXCEL 文件中读取数据。 2.选择数据 我们能使用列标签来选择列数据。...同样，我们可以使用行标签来获取一列或者多列数据。表格中的下标是数字，比如我们想获取第 1、2 行数据，可以使用 df[1:3] 来拿到数据。 ? Pandas 的利器之一是索引和数据选择器。...处理空值，Pandas 库提供很多方式。最简单的办法就是删除空值的行。 ? 除此之外，还可以使用取其他数值的平均值，使用出现频率高的值进行填充缺失值。...相加在一起，然后组合在 Jazz 列中显示总和。...这也是 Pandas 库强大之处，能将多个操作进行组合，然后显示最终结果。 6.从现有列中创建新列 通常在数据分析过程中，我们发现自己需要从现有列中创建新列，使用 Pandas 也是能轻而易举搞定。
，仅支持一维和二维数据，但数据内部可以是异构数据，仅要求同列数据类型一致即可 numpy的数据结构仅支持数字索引，而pandas数据结构则同时支持数字索引和标签索引 从功能定位上看： numpy虽然也支持字符串等其他数据类型...或字典（用于重命名行标签和列标签） reindex，接收一个新的序列与已有标签列匹配，当原标签列中不存在相应信息时，填充NAN或者可选的填充值 set_index/reset_index，互为逆操作，...自然毫无悬念 dataframe：无法访问单个元素，只能返回一列、多列或多行：单值或多值（多个列名组成的列表）访问时按列进行查询，单值访问不存在列名歧义时还可直接用属性符号" ....4 合并与拼接 pandas中又一个重量级数据处理功能是对多个dataframe进行合并与拼接，对应SQL中两个非常重要的操作：union和join。...例如，以某列取值为重整后行标签，以另一列取值作为重整后的列标签，以其他列取值作为填充value，即实现了数据表的行列重整。
这些方法就像Excel中的“打开文件”，但我们通常也需要“创建新文件”。下面，我们就来学习如何创建一个空的数据框架（例如，像一个空白的Excel工作表）。...基本语法 在pandas中创建数据框架有很多方法，这里将介绍一些最常用和最直观的方法。所有这些方法实际上都是从相同的语法pd.DataFrame()开始的。...创建一个n×m大小的数据框架 让我们创建一个10行5列的数据框架，填充的值都为1。这里我们指定data=1，且有10行（索引）和5列。...然而，如果你打算创建两列，第一列包含a中的值，第二列包含b中的值，该怎么办？你仍然可以使用列表，但这一次必须将其zip()。 图4 好的，但是zip对象到底是什么？...现在，如果从该迭代器创建一个数据框架，那么将获得两列数据： 图6 从字典创建数据框架 最让人喜欢的创建数据框架的方法是从字典中创建，因为其可读性最好。
领取专属 10元无门槛券
手把手带您无忧上云
