Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >numpy和pandas库实战——批量得到文件夹下多个CSV文件中的第一列数据并求其最值

numpy和pandas库实战——批量得到文件夹下多个CSV文件中的第一列数据并求其最值

作者头像
Python进阶者
发布于 2020-09-22 03:30:47
发布于 2020-09-22 03:30:47
9.6K0
举报

/前言/

前几天群里有个小伙伴问了一个问题,关于Python读取文件夹下多个CSV文件中的第一列数据并求其最大值和最小值,大家讨论的甚为激烈,在此总结了两个方法,希望后面有遇到该问题的小伙伴可以少走弯路。

/一、问题描述/

如果想求CSV或者Excel中的最大值或者最小值,我们一般借助Excel中的自带函数max()和min()就可以求出来。如果只是一两个文件,处理起来肯定是小菜一碟了,当文件的个数达到上百个,如果再按照该方法进行的话,那可就费时费力了,事倍功半。

不过白慌,针对下图中的多个CSV文件,我们可以利用Python来一次性遍历读取多个文件,然后分别对文件进行处理,事半功倍。

/二、解决方法/

1、首先来看看文件内容,这里取其中一个文件的内容,如下图所示。

当然这只是文件内容中的一小部分,真实的数据量绝对不是21个。

2、现在我们想对第一列或者第二列等数据进行操作,以最大值和最小值的求取为例,这里以第一列为目标数据,来进行求值。

通常我们通过Python来处理数据,用的比较多的两个库就是numpy和pandas,在本篇文章中,将分别利用两个库来进行操作。

3、其中使用pandas库来实现读取文件夹下多个CSV文件中的第一列数据并求其最大值和最小值的代码如下图所示。

4、通过pandas库求取的结果如下图所示。

通过该方法,便可以快速的取到文件夹下所有文件的第一列的最大值和最小值。

5、下面使用numpy库来实现读取文件夹下多个CSV文件中的第一列数据并求其最大值和最小值的代码如下图所示。

6、通过numpy库求取的结果如下图所示。

通过该方法,也可以快速的取到文件夹下所有文件的第一列的最大值和最小值。

/小结/

本文基于Python,使用numpy库和pandas库实现了读取文件夹下多个CSV文件,并求取文件中第一列数据的最大值和最小值,当然除了这两种方法之外,肯定还有其他的方法也可以做得到的,欢迎大家积极探讨。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-09-21,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Python爬虫与数据挖掘 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
[Python从零到壹] 十一.数据分析之Numpy、Pandas、Matplotlib和Sklearn入门知识万字详解
Web数据分析是一门多学科融合的学科,它涉及统计学、数据挖掘、机器学习、数据科学、知识图谱等领域。数据分析是指用适当的统计方法对所收集数据进行分析,通过可视化手段或某种模型对其进行理解分析,从而最大化挖掘数据的价值,形成有效的结论。
Eastmount
2021/12/02
3.2K0
[Python从零到壹] 十一.数据分析之Numpy、Pandas、Matplotlib和Sklearn入门知识万字详解
numpy与pandas
用户6841540
2024/07/24
1300
最全面的Pandas的教程!没有之一!
Pandas 是基于 NumPy 的一个开源 Python 库,它被广泛用于快速分析数据,以及数据清洗和准备等工作。它的名字来源是由“ Panel data”(面板数据,一个计量经济学名词)两个单词拼成的。简单地说,你可以把 Pandas 看作是 Python 版的 Excel。
一墨编程学习
2019/04/27
26.1K0
Pandas常用命令汇总,建议收藏!
凭借其广泛的功能,Pandas 对于数据清理、预处理、整理和探索性数据分析等活动具有很大的价值。
小F
2023/08/21
5520
Pandas常用命令汇总,建议收藏!
深入理解pandas读取excel,txt,csv文件等命令
文档操作属于pandas里面的Input/Output也就是IO操作,基本的API都在上述网址,接下来本文核心带你理解部分常用的命令
梦想橡皮擦
2019/03/15
12.4K0
深入理解pandas读取excel,txt,csv文件等命令
Pandas常用操作
上一年由于备战考研,最近论文答辩结束,计划重启公众号。本篇文章主要是记录总结毕业论文中使用Pandas模块的常用操作,感兴趣的可以作为参考。
python数据可视化之路
2023/02/23
1.4K0
Pandas常用操作
Python求取Excel指定区域内的数据最大值
  本文介绍基于Python语言,基于Excel表格文件内某一列的数据,计算这一列数据在每一个指定数量的行的范围内(例如每一个4行的范围内)的区间最大值的方法。
疯狂学习GIS
2024/06/04
2210
Python求取Excel指定区域内的数据最大值
python读取txt中的一列称为_python读取txt文件并取其某一列数据的示例
AAAAF110 0003E818 0003E1FC 0003E770 0003FFFC 90
全栈程序员站长
2022/09/01
5.2K0
详解python中的pandas.read_csv()函数
pandas.read_csv()函数是Pandas库中用于读取CSV(逗号分隔值)文件的函数之一。
程序员洲洲
2024/06/11
6470
详解python中的pandas.read_csv()函数
数学建模暑期集训13:Pandas实战——处理Excel大数据
Pandas是python中用于数据分析的一个强大的库。在数学建模中,往往会遇到大数据的题目,数量级通常在六位数以上。若使用人工处理数据的方法,根本不可能在四天之内处理完,并且电脑内存不够Excel会很卡。 因此,要选大数据的题目,必须要掌握Pandas的一些基本操作。 笔者认为,一个个API学习并不是最有效的方式,最有效的方式是通过实战案例来进行学习。本篇内容将以2020年国赛C题数据为例,进行处理。
zstar
2022/06/14
9510
数学建模暑期集训13:Pandas实战——处理Excel大数据
灰太狼的数据世界(三)
一期我们了解了Pandas里面Series数据结构,了解了如何创建修改,清理Series,也了解了一些统计函数,例如方差,标准差,峰度这些数学概念。那么今天我们就来了解Pandas里面的另一个数据结构-----DataFrame。
我被狗咬了
2019/09/23
2.8K0
灰太狼的数据世界(三)
统计师的Python日记【第5天:Pandas,露两手】
本文是【统计师的Python日记】第5天的日记 回顾一下: 第1天学习了Python的基本页面、操作,以及几种主要的容器类型; 第2天学习了python的函数、循环和条件、类。 第3天了解了Numpy这个工具库。 第4天初步了解了Pandas这个库 原文复习(点击查看): 第1天:谁来给我讲讲Python? 第2天:再接着介绍一下Python呗 【第3天:Numpy你好】 【第4天:欢迎光临Pandas】 【第四天的补充】 今天将带来第5天的学习日记。 目录如下: 前言 一、描述性统计 1. 加总 2
数说君
2018/04/04
3K0
统计师的Python日记【第5天:Pandas,露两手】
【Python环境】Python中的结构化数据分析利器-Pandas简介
Pandas是python的一个数据分析包,最初由AQR Capital Management于2008年4月开发,并于2009年底开源出来,目前由专注于Python数据包开发的PyData开发team继续开发和维护,属于PyData项目的一部分。Pandas最初被作为金融数据分析工具而开发出来,因此,pandas为时间序列分析提供了很好的支持。 Pandas的名称来自于面板数据(panel data)和python数据分析(data analysis)。panel data是经济学中关于多维数据集的一个术
陆勤_数据人网
2018/02/27
15.1K0
Python数据分析实战基础 | 初识Pandas
这段时间和一些做数据分析的同学闲聊,我发现数据分析技能入门阶段存在一个普遍性的问题,很多凭着兴趣入坑的同学,都能够很快熟悉Python基础语法,然后不约而同的一头扎进《利用Python进行数据分析》这本经典之中,硬着头皮啃完之后,好像自己什么都会了一点,然而实际操作起来既不知从何操起,又漏洞百出。
小小詹同学
2019/09/17
1.5K0
Python数据分析实战基础 | 初识Pandas
Python数据分析实战基础 | 初识Pandas
这段时间和一些做数据分析的同学闲聊,我发现数据分析技能入门阶段存在一个普遍性的问题,很多凭着兴趣入坑的同学,都能够很快熟悉Python基础语法,然后不约而同的一头扎进《利用Python进行数据分析》这本经典之中,硬着头皮啃完之后,好像自己什么都会了一点,然而实际操作起来既不知从何操起,又漏洞百出。
Python进阶者
2019/10/12
1.7K0
Python数据分析实战基础 | 初识Pandas
Pandas
Attitude is a little thing that makes a big difference.
小闫同学啊
2019/07/18
5K0
Pandas
Pandas库常用方法、函数集合
Pandas是Python数据分析处理的核心第三方库,它使用二维数组形式,类似Excel表格,并封装了很多实用的函数方法,让你可以轻松地对数据集进行各种操作。
朱卫军 AI Python
2023/11/22
3700
Pandas库常用方法、函数集合
用 Python 对 Excel文件进行批量操作
OS(Operation System)指操作系统。在 Python 中,OS 库主要提供了与操作系统即电脑系统之间进行交互的一些功能。很多自动化操作都会依赖该库的功能。
用户8612862
2021/11/18
1.6K0
用 Python 对 Excel文件进行批量操作
手把手教你用Python批量实现文件夹下所有Excel文件的第二张表合并
大家好,我是Python进阶者。今天继续给大家分享Python自动化办公的知识,之前也给大家分享过一些,感兴趣的话可以看看。
Python进阶者
2022/03/07
1.5K0
手把手教你用Python批量实现文件夹下所有Excel文件的第二张表合并
数据分析(四)
attr5 = np.array([[1,2,3],[4,5,6],[7,8,9],[11,22,33]])
不断折腾
2019/09/23
9360
数据分析(四)
推荐阅读
相关推荐
[Python从零到壹] 十一.数据分析之Numpy、Pandas、Matplotlib和Sklearn入门知识万字详解
更多 >
领券
社区富文本编辑器全新改版!诚邀体验~
全新交互,全新视觉,新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能,全面提升创作效率和体验
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文