首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

如何快速学会Python处理数据?(5000字走心总结)

最好的方式,就是先掌握一点基础语法,然后把Python融合到工作中,解决日常工作中碰到的问题。在解决问题的时候,你会碰到各种问题,可以去"百度"寻找答案。最后,要定期总结和输出。...02 问题说明 现在工作中面临一个批量化文件处理的问题:就是要把每个二级文件下csv文件合并到一个数据表里,同时要在最终的数据表里增加两列,一列是一级文件目录名称,另一列是二级文件目录名称。...如果你想要改变语句流的执行顺序,也就是说你想让程序做一些决定,根据不同的情况做不同的事情。这个时候,就需要通过控制流语句来实现。 在Python中有三种控制流语句——if、for和while。...for循环就是个迭代器,当我们在使用for循环时,即重复运行一个代码块,或者不断迭代容器对象中的元素,比如一些序列对象,列表,字典,元组,甚至文件等,而for循环的本质取出可迭代对象中的迭代器然后对迭代器不断的操作...08 DataFrame及操作 DataFrame是一种表格型数据结构,在概念上,它跟关系型数据库的一张表,Excel里的数据表一样。

2K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Python3分析Excel数据

    使用列标题 使用列索引值 用pandas设置数据框,在方括号中列出要保留的列的索引值或名称(字符串)。...然后,用loc函数在每个工作表中选取特定的列,创建一个筛选过的数据框列表,并将这些数据框连接在一起,形成一个最终数据框。...创建索引值列表my_ sheets,在read_excel函数中设定sheetname等于my_sheets。想从第一个和第二个工作表中筛选出销售额大于$1900.00 的行。...想知道一个文件夹中工作簿的数量,每个工作簿中工作表的数量,以及每个工作表中行与列的数量: 12excel_introspect_all_ workbooks.py #!...使用Python内置的glob模块和os模块,创建要处理的输入文件列表,并对输入文件列表应用for循环,对所有要处理的工作簿进行迭代。

    3.4K20

    单列文本拆分为多列,Python可以自动化

    标签:Python与Excel,pandas 在Excel中,我们经常会遇到要将文本拆分。Excel中的文本拆分为列,可以使用公式、“分列”功能或Power Query来实现。...准备用于演示的数据框架 这里将使用一个简单的示例,你可以到知识星球完美Excel社群下载Excel示例文件或者自己按照下图所示创建一个Excel文件,以方便进行后续操作。...虽然在Excel中这样做是可以的,但在Python中这样做从来都不是正确的。上述操作:创建一个公式然后下拉,对于编程语言来说,被称为“循环”。...一旦我们将Excel表加载到pandas中,整个表将成为pandas数据框架,“出生日期”列将成为pandas系列。因为我们不能循环,所以需要一种方法来访问该系列中的字符串元素。...注意:返回结果是两个单词(字符串)的列表。 那么,如何将其应用于数据框架列?你可能已经明白了,我们使用.str!让我们在“姓名”列中尝试一下,以获得名字和姓氏。

    7.1K10

    使用Python移动和重命名Excel文件

    标签:Python与Excel,pandas 本文将向你展示如何在Python中移动和重命名Excel文件。...示例 假设你管理着客户的每周发票报告列表,每周,公司的发票系统会为每个客户生成一份Excel报告,并保存在以客户名称命名的文件夹中,参见下面的屏幕截图。...我们要做的是,逐一把每个“发票.xlsx”文件移动到一个名为“week_1”的文件夹中,然后通过添加相应的客户名称来重命名该Excel文件。...然后,我们将创建另一个名为“week_1”的文件夹。...由于文件夹名称结构良好,我们可以使用一个简单的循环,从客户_1到客户_59。注意,由于Python索引从0开始,因此下面代码中使用i+1。另外,在将整数值连接在一起之前,不要忘记将它们转换为字符串。

    3.1K30

    玩转Pandas,让数据处理更easy系列3

    的增删改查,Series实例填充到Pandas中,请参考: 玩转Pandas,让数据处理更easy系列1 玩转Pandas,让数据处理更easy系列2 02 读入DataFrame实例 读入的方式有很多种...,可以是网络 html 爬虫到数据,可以从excel, csv文件读入的,可以是Json的数据,可以从sql库中读入,pandas提供了很方便的读入这些文件的API,以读入excel,csv文件为例:...03 DataFrame实例写入到excel和csv文件中 处理读取,当然还有写入,写入API也很简单,准备好了要写入的DataFrame实例后, #写入excel文件 pd_data.to_excel...如果列表元素中的元素可以按照某种算法推算出来,那是否可以在循环过程中,推算出我们需要的一定数量的元素呢?这样地话,我们就可以灵活地创建需要数量的list,从而节省大量的空间。...在Python中,这种一边循环一边计算的机制,称为生成器:generator。

    1.5K10

    干货:手把手教你用Python读写CSV、JSON、Excel及解析HTML

    用索引可以很方便地辨认、校准、访问DataFrame中的数据。索引可以是一列连续的数字(就像Excel中的行号)或日期;你还可以设定多列索引。...文档位于: http://pandas.pydata.org/pandas-docs/stable/io.html#io-json-reader 03 用Python读写Excel文件 以表格形式操作数据的文件格式中...拿最新的XLSX格式来说,Excel可以在单个工作表中存储一百多万行及一万六千多列。 1. 准备 要实践这个技法,你要先装好pandas模块。此外没有要求了。 2....在我们的例子中,我们还指定了index=False,这样不会保存索引;默认情况下,.to_excel(...)方法保存A列的索引。 4....10)[['IATA', 'Airport_name']]) 如果想取出不止一列,可以以列表的形式传入;在我们的例子中,就是['IATA', 'Airport_name']。

    8.4K20

    详解python中的pandas.read_csv()函数

    前言 在Python的数据科学和分析领域,Pandas库是处理和分析数据的强大工具。 pandas.read_csv()函数是Pandas库中用于读取CSV(逗号分隔值)文件的函数之一。...易用性:Pandas提供了大量的方法和功能,使得数据清洗、处理和分析变得简单直观。 高性能:Pandas在内部使用Cython或C语言编写,以提高性能,特别是在处理大型数据集时。...绘图功能:Pandas内置了基于matplotlib的绘图功能,可以快速创建图表。...日期时间列:如果CSV文件包含日期时间数据,可以使用parse_dates参数将列解析为Pandas的datetime类型。...社群中不定时会有很多活动,例如每周都会包邮免费送一些技术书籍及精美礼品、学习资料分享、大厂面经分享、技术讨论谈等等。

    47010

    如何用 Python 执行常见的 Excel 和 SQL 任务

    导入数据 你可以导入.sql 数据库并用 SQL 查询中处理它们。在Excel中,你可以双击一个文件,然后在电子表格模式下开始处理它。...在 Python 中,有更多复杂的特性,得益于能够处理许多不同类型的文件格式和数据源的。 使用一个数据处理库 Pandas,你可以使用 read 方法导入各种文件格式。...,使用这个方法所能导入完整的文件格式清单是在 Pandas 文档中。你可以导入从 CSV 和 Excel 文件到 HTML 文件中的所有内容!...分组和连接数据 在 Excel 和 SQL 中,诸如 JOIN 方法和数据透视表之类的强大工具可以快速汇总数据。...你会发现,由 Pandas 中的merge 方法提供的连接功能与 SQL 通过 join 命令提供的连接功能非常相似,而 Pandas 还为过去在 Excel 中使用数据透视表的人提供了 pivot table

    10.8K60

    Python统计汇总Grafana导出的csv文件到Excel

    背景: 定时每周把grafana导出的csv文件进行统计汇总工作,需要处理的csv文件比较多,干脆写个脚本,每周执行一遍脚本,既方便还不会出错。...需求分析 原始文件分析 原始文件是多个csv表格,第一列为时间戳,每10分钟统计生成一行,其余列为ip地址在该时间段内的访问次数 ?...库将pandas处理后的DataFrame数据写入excel文件,指定文件名作为sheet名 遍历指定目录下.csv文件 主要用到了os模块中的walk()函数,可以遍历文件夹下所有的文件名。...return result_df excel数据写入 pandas的to_excel方法也可以写入到excel文件,但是如果需要写入到指定的sheet,就无法满足需求了,此时就需要用的xlwings或者.../csv' # 生成excel文件名 excel_name = 'cm.xlsx' csv_file = find_csv(path) # 创建excel文件 new_excel

    4K20

    用Python执行SQL、Excel常见任务?10个方法全搞定!

    01 导入数据 你可以导入.sql 数据库并用 SQL 查询中处理它们。在Excel中,你可以双击一个文件,然后在电子表格模式下开始处理它。...在 Python 中,有更多复杂的特性,得益于能够处理许多不同类型的文件格式和数据源的。 使用一个数据处理库 Pandas,你可以使用 read 方法导入各种文件格式。...使用这个方法所能导入完整的文件格式清单是在 Pandas 文档中。你可以导入从 CSV 和 Excel 文件到 HTML 文件中的所有内容!...10 分组和连接数据 在 Excel 和 SQL 中,诸如 JOIN 方法和数据透视表之类的强大工具可以快速汇总数据。...你会发现,由 Pandas 中的merge 方法提供的连接功能与 SQL 通过 join 命令提供的连接功能非常相似,而 Pandas 还为过去在 Excel 中使用数据透视表的人提供了 pivot table

    8.3K20

    通宵翻译Pandas官方文档,写了这份Excel万字肝货操作!

    在 Excel 中,您将下载并打开 CSV。在 pandas 中,您将 CSV 文件的 URL 或本地路径传递给 read_csv()。...在 Pandas 中,您使用特殊方法从/向 Excel 文件读取和写入。 让我们首先基于上面示例中的数据框,创建一个新的 Excel 文件。 tips.to_excel("....导出数据 默认情况下,桌面电子表格软件将保存为其各自的文件格式(.xlsx、.ods 等)。但是,您可以保存为其他文件格式。 pandas 可以创建 Excel 文件、CSV 或许多其他格式。...列操作 在电子表格中,公式通常在单个单元格中创建,然后拖入其他单元格以计算其他列的公式。在 Pandas 中,您可以直接对整列进行操作。...pandas 通过在 DataFrame 中指定单个系列来提供矢量化操作。可以以相同的方式分配新列。DataFrame.drop() 方法从 DataFrame 中删除一列。

    19.6K20

    Python与Excel协同应用初学者指南

    恭喜你,你的环境已经设置好了!准备好开始加载文件并分析它们了。 将Excel文件作为Pandas数据框架加载 Pandas包是导入数据集并以表格行-列格式呈现数据集的最佳方法之一。...只需创建一个虚拟example.xlsx文件,并在行和列中填写一些任意值,然后将其以.xlsx格式保存。 图3 如果没有安装Anaconda,可能会出现nomodule错误。...如何将数据框架写入Excel文件 由于使用.csv或.xlsx文件格式在Pandas中装载和读取文件,类似地,可以将Pandas数据框架保存为使用.xlsx的Excel文件,或保存为.csv文件。...可以在下面看到它的工作原理: 图15 已经为在特定列中具有值的行检索了值,但是如果要打印文件的行而不只是关注一列,需要做什么? 当然,可以使用另一个for循环。...另一个for循环,每行遍历工作表中的所有列;为该行中的每一列填写一个值。

    17.4K20

    告诉你怎么创建pandas数据框架(dataframe)

    标签:Python与Excel,pandas 通过前面的一系列文章的学习,我们已经学习了使用pandas将数据加载到Python中的多种不同方法,例如.read_csv()或.read_excel()。...这些方法就像Excel中的“打开文件”,但我们通常也需要“创建新文件”。下面,我们就来学习如何创建一个空的数据框架(例如,像一个空白的Excel工作表)。...基本语法 在pandas中创建数据框架有很多方法,这里将介绍一些最常用和最直观的方法。所有这些方法实际上都是从相同的语法pd.DataFrame()开始的。...然而,如果你打算创建两列,第一列包含a中的值,第二列包含b中的值,该怎么办?你仍然可以使用列表,但这一次必须将其zip()。 图4 好的,但是zip对象到底是什么?...它实际上是一个迭代器,只是一个对象,你可以通过它进行迭代(循环)。一般来说,如果你想查看迭代器中的内容,只需执行一个循环,然后像下面这样打印出迭代器中的元素。 图5 还记得列表[a,b]的样子吗?

    2K30

    python读excel文件最佳实践?直接请教pandas比gpt还好用

    使用任何能导航代码的 ide,我使用的是 vscode ,输入 pandas 的 read_excel 方法,按住 ctrl 键,鼠标点击方法,即可进入源码文件。...通过查 openpyxl 的文档,可以知道,原来有些程序(wps?)或库,在保存文件的时候,会写入关于工作表数据的范围最大行和列的信息。...但是,里面竟然有一个 while 循环? 原来,如果用户设置了一个单元格的格式,即使没有内容,也算一个有效的单元格。...此时如果只是正常遍历读取,得到的结果是 所以 while 循环就是移除这些多余的空单元格 如果这种"假单元格"出现在数据行下方: 此时就多了许多空行 所以,pandas 在遍历过程中,记录了最后有记录的行索引...但是行的长度有可能不一致。所以你会看到 pandas 的处理中,最后有一段逻辑用于补齐这些"短列表" 可以注意到,其中有3处地方在遍历 data 数据。所以,如果记录越多,这里就比较耗时。

    34910

    AI网络爬虫:批量爬取抖音视频搜索结果

    Python脚本任务: 在F:\aivideo文件夹里面新建一个Excel文件:douyinchatgpt.xlsx 设置chromedriver的路径为:"D:\Program Files\chromedriver125...在每个循环迭代中,都记录前一个页面高度(prev_height),然后使用JavaScript滚动到页面底部。停顿10秒钟,以便页面可以加载更多内容。...标签(titlenumber从1开始,并以1 为增量增加),作为视频标题,保存到douyinchatgpt.xlsx的第1列; 在li 标签中定位css选择器=#search-content-area...从1开始,并以1 为增量增加),提取其href属性值,作为视频链接,保存到douyinchatgpt.xlsx的第4列; 数据写入Excel时,要注意DataFrame.append 方法在 pandas...整合在一起; 不要开启无头模式; 在Selenium 4中,executable_path参数已经被弃用,取而代之的是service参数; DataFrame.append 方法在 pandas 1.4.0

    24610

    使用Python将一个Excel文件拆分成多个Excel文件

    在命令提示行中使用pip命令来安装: pip install pandas openpyxl pandas库用于处理数据(本文中是筛选),openpyxl库用于创建新的Excel文件。...示例文件 你可以到知识星球App完美Excel社群下载示例文件,或者自己简单地创建一个。...筛选数据 在pandas数据框架中筛选数据很容易。有几种方法,但我们将使用最简单的一种。 假设我们想通过选择所有空调销售来筛选数据,如下所示。...图2 查找分类 接下来,我们需要从数据中提取类别,它们基本上是产品名称列中的值。可以简单地返回该列中的所有唯一值。...图3 拆分Excel工作表为多个工作表 如上所示,产品名称列中的唯一值位于一个数组内,这意味着我们可以循环它来检索每个值,例如“空调”、“冰箱”等。然后,可以使用这些值作为筛选条件来拆分数据集。

    3.7K31

    Python随机抽取多个Excel的数据从而整合为一个新文件

    首先,我们来明确一下本文的具体需求。现有一个文件夹,其中有大量的Excel表格文件(在本文中我们就以.csv格式的文件为例);如下图所示。   ...其中,每一个Excel表格文件都有着如下图所示的数据格式;其中的第1行表示每一列的名称,第1列则表示时间。   ...我们希望实现的,就是从每一个Excel表格文件中,随机选取10行数据(第1行数据肯定不能被选进去,因为其为列名;第1列数据也不希望被选进去,因为这个是表示时间的数据,我们后期不需要),并将这一文件夹中全部的...然后,创建了一个空的DataFrame,用于存储抽样后的数据。   接下来是一个for循环,遍历了原始数据文件夹中的所有.csv文件,如果文件名以.csv结尾,则读取该文件。...然后,使用Pandas中的sample()函数随机抽取了该文件中的10行数据,并使用iloc[]函数删除了10行数据中的第1列(为了防止第1列表示时间的列被选中,因此需要删除)。

    24210

    使用Python将多个Excel文件合并到一个主电子表格中

    标签:Python与Excel,pandas 本文展示如何使用Python将多个Excel文件合并到一个主电子表格中。假设你有几十个具有相同数据字段的Excel文件,需要从这些文件中聚合工作表。...我们使用这个库将Excel数据加载到Python中,操作数据,并重新创建主电子表格。 我们将从导入这两个库开始,然后查找指定目录中的所有文件名。...注意,存在非Excel文件,我们不想打开这些文件,因此要处理这些文件。 将多个Excel文件合并到一个电子表格中 接下来,我们创建一个空数据框架df,用于存储主电子表格的数据。...数据存储在计算机内存中,而不打开Excel。 图2 上述代码执行以下操作: 1.循环遍历当前工作目录中的所有文件,通过检查以“.xlsx”结尾的文件名来确定文件是否为Excel文件。...合并同一Excel文件中的多个工作表 在《使用Python pandas读取多个Excel工作表》中,讲解了两种技术,这里不再重复,但会使用稍微不同的设置来看一个示例。

    5.7K20
    领券