首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

【Python私活案例】500元,提供exe实现批量excel文件的存入mysql数据库

py文件打包为exe 看起来就是如此简单 不过经过进一步沟通才知道: 是有很多excel文件存在不同级别的文件夹里,每个excel里面又有很多的表数据,幸好表的格式基本相同。...【代码实现】 首先我想到的是编一个函数,来找到目录内所有的excel相关文件的位置,这里我用的是pathlib2的Path下的rglob函数,直接可以选出目录内包含子文件夹下的所有符合条件的文件(这里要感谢船长的提醒...文件有很多表,所以我是这么写的,你发现什么问题了吗?...虽然我感觉数据清洗和处理是比较简单的,但是实际上也花了我一些的时间,由于pandas才刚刚开始学,有些东西真的是边学边写,幸好老师有很多东西都已经给出了例子,照着来一遍就可以实现效果。...这个要大大的感谢一下老师,老师的视频做的实在是太详细了!!

1.3K10
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    numpy中的文件读写

    在numpy中,提供了一系列函数从文件中读取内容并生成矩阵,常用的函数有以下两个 1. loadtxt loadtxt适合处理数据量较小的文件,基本用法如下 >>> import numpy as np...如果文件内容全为纯数字或者字符,上述行为当然没什么问题,但是当文件内容是混合型时,有可能出现无法自动转换的情况,最常见的第一行为字符串表头,其他行为数字,此时程序会尝试将表头的字符串转换为浮点型,由于无法自动转换...[ 2., 3.]]) 2. genfromtxt 对于数据量大的文件,推荐使用genfromtxt函数,用法和loadtxt类似,但是速度更快,最重要的是,该函数会自动处理缺失值,常用参数用法示意如下...除了经典的文件读取外,numpy还支持将矩阵用二进制的文件进行存储,支持npy和npz两种格式,用法如下 # save函数将单个矩阵存储到后缀为npy的二进制文件中 >>> np.save('out.npy...以上就是numpy文件读写的基本用法,numpy作为科学计算的底层核心包,有很多的包对其进行了封装,提供了更易于使用的借口,最出名的比如pandas,通过pandas来进行文件读写,会更加简便,在后续的文章中再进行详细介绍

    2.1K10

    【Python篇】PyQt5 超详细教程——由入门到精通(中篇一)

    文件类型过滤器:"文本文件 (*.txt);;所有文件 (*)" 表示用户只能看到 .txt 文件或所有类型的文件。我们可以根据应用场景自定义文件类型过滤器。...5.3 文件类型过滤器 在文件对话框中,我们可以通过文件类型过滤器限制用户只能选择特定类型的文件。例如,下面是一些常见的文件类型过滤器: "文本文件 (*.txt)":只显示 .txt 文件。...: QTableWidget(3, 2) 这一行代码创建了一个表格控件,表格有 3 行和 2 列。...行数代表有多少条记录,列数代表每条记录包含多少个字段(例如姓名和年龄)。...以上就是关于【Python篇】PyQt5 超详细入门级教程(中篇一))的内容啦,各位大佬有什么问题欢迎在评论区指正,您的支持是我创作的最大动力!❤️

    1.9K23

    文件读取功能(Pandas读书笔记7)

    最初笔者想要学习和分享Pandas主要是为了解决Excel无法解决的海量数据处理问题,所以我接下来分享的重点就是如何使用Pandas解决Excel那些常见的操作!...CSV本来就是和Excel是表兄弟,使用CSV更加方便快捷 我们先看看这个CSV文件里面是什么东西 ? 这个文件其实就是我从网站上自动抓下来的期货最新的交易信息! 如何读取文件呢?...代码执行完就会发现对应路径有新的文件咯~ 四、读写Excel文件 pandas中读取文件都是pd.read函数 读取CSV就是pd.read_csv 读取Excel就是pd.read_excel 那读取...有pd.read_txt不? NO! 读取TXT使用的是pd.read_table 我们先看一下Excel是什么样子~ ?...这个Excel文件名字叫做测试3,有两个表,一个叫做表格1,一个叫做表格2 ? ?

    3.9K50

    Python 中的 requirements.txt 与 setup.py

    一般情况下,我们需要requirements.txt 来指定项目的依赖包和版本,所以我们先看看requirements.txt的格式 requirements.txt 文件 requirements.txt...示例 requirements.txt 文件 matplotlib>=2.2 numpy>=1.15.0, <1.21.0 pandas pytest==4.0.1 然后就可以使用以下命令通过 pip...requirements.txt 非常有用,但他只针对于我们项目的开发和发布(例如线上部署等)。如果你想将你代码发布到 PyPI 供其他人使用,那么需要的不仅仅是这个文件。...pandas numpy matplotlib 这样在我们的 setup.py 文件中只需要保留最少的代码: from setuptools import setup if __...当项目安装时会根据该配置来下载和安装依赖。 我们需要 requirements.txt 和 setup.py/setup.cfg 文件吗? 这就需要分情况对待了。

    1.2K20

    python高级之pandas使用HYPERLINK追加写入超链接-url、文件、图片

    (文件夹) res1.png test.txt result(文件夹) 生成excel文件.xlsx test2.txt main.py draft.txt 主要代码段 #四个示例 textpath1...关于调试:手动在excel中手写这个函数无法生效,必须要通过这套代码写才会生效 关于file路径:不通过HYPERLINK,通过file也可以写文件,但只能写入绝对路径,格式`file:///D:\D_Working...\文档.txt` 手动写入也会生效,注意file后面有英文冒号反斜杆,路径是顺斜杆,这个写错是不生效的 可直接运行代码 # -*- coding: utf-8 -*- # @Time : 2022/2...(self.excel_name, sheet_name="xiaozai")) # 读取原数据文件和表 writer = pandas.ExcelWriter(self.excel_name...( pandas.read_excel(self.excel_name, sheet_name="xiaozai")) # 读取原数据文件和表 writer =

    2.6K10

    再见pip & conda!管理Python依赖关系的更好的选择:Poetry

    在这篇文章中,我们将深入探讨Poetry的优势,并强调它与pip和conda的主要区别。 安装的便利性 一键轻松安装过程,能够快速采用并将软件包集成到我们的代码库中,从而节省时间和精力。...如果代码库依赖于pandas 1.5.3版本特有的语法或行为,而语法在2.0版本中发生了变化,那么用pandas 2.0运行代码可能会带来错误。...可以通过把它们冻结在requirements.txt文件中来确定版本: ```bash $ pip freeze > requirements.txt # requirements.txt numpy...通过分离依赖关系,可以明确区分开发目的所需的包,如测试框架和代码质量工具,和生产环境所需的包,通常包括核心依赖关系。...这个动作会自动更新poetry.lock文件,确保软件包规格和锁文件的一致性。

    2.9K20

    手把手教你用Pyecharts库对淘宝数据进行可视化展示

    2、原始数据预处理 小小明大佬直接使用正则表达式re模块和pandas模块进行处理,方法可谓巧妙,一击即中,数据处理代码如下。...是小编之前在网上找到的一个存放一些常用特殊字符的txt文件,这个文件内容可以看看下图。...方法一:常规处理 这里使用的是常规处理的方法,代码亲测可用,只需要将代码中的1.txt进行替换成你自己的那个需要分词统计的文档即可,然后系统会自动给你生成一个Excel表格和一个TXT文件,内容都是一样的...方法二:使用Pandas优化处理 这里使用Pandas方法进行处理,代码如下,小编也是亲测有效,小伙伴们也可以去尝试下。...有需要本文中完整代码文件的小伙伴,可以在后台直接回复关键词”程序和小小明大佬“即可获取。 我的这个Python交流群已经300多人了,有需要加入该群的小伙伴可以加我好友,一起学习,共同进步。

    68920

    Python如何打开pkl的sample text?(上篇)

    这样的数据格式,直接打开的话,一般都会乱码的,如下图所示: 还得是需要使用Pandas来进行读取和查看,代码如下: import pandas as pd pd.read_pickle("你的文件名"...加上去了,这个问题解决,但是又来了一个新问题,然后粉丝就麻了,从报错来看,文件不存在,说明文件不在当前代码的同级目录下,需要加绝对路径才行。...目前【Emma】的文件问题已经解决了,下一步她要开始导入数据了,读取数据了,下一篇文章继续一起来看看【Emma】接下来会遇到什么问题吧,敬请期待! 三、总结 大家好,我是皮皮。...往期精彩文章推荐: if a and b and c and d:这种代码有优雅的写法吗? Pycharm和Python到底啥关系?...都说chatGPT编程怎么怎么厉害,今天试了一下,有个静态网页,chatGPT居然没搞定? 站不住就准备加仓,这个pandas语句该咋写?

    21820

    深入理解pandas读取excel,tx

    txt文件 读取txt文件需要确定txt文件是否符合基本的格式,也就是是否存在\t,` ,,`等特殊的分隔符 一般txt文件长成这个样子 txt文件举例 下面的文件为空格间隔 1 2019-03-22.../test.txt") print(df) 但是,注意,这个地方读取出来的数据内容为3行1列的DataFrame类型,并没有按照我们的要求得到3行4列 import pandas as pd df =...这个参数只能是一个字符,空行(就像skip_blank_lines=True)注释行被header和skiprows忽略一样。.../datablog/p/6127000.html 感谢博主的翻译,O(∩_∩)O哈哈~ 案例1 index_col 使用 首先准备一个txt文件,这个文件最大的问题是在每行的末尾多了一个',' ,按照提示解释为.../pandas-docs/stable/user_guide/io.html 尾声 截止到现在,本篇博客已经完成,对于pandas读取文件,相信你应该已经有一个深入的理解了。

    6.2K10

    深入理解pandas读取excel,txt,csv文件等命令

    txt文件 读取txt文件需要确定txt文件是否符合基本的格式,也就是是否存在\t,,,等特殊的分隔符 一般txt文件长成这个样子 txt文件举例 下面的文件为空格间隔 1 2019-03-22 00.../test.txt") print(df) 但是,注意,这个地方读取出来的数据内容为3行1列的DataFrame类型,并没有按照我们的要求得到3行4列 import pandas as pd df =...这个参数只能是一个字符,空行(就像skip_blank_lines=True)注释行被header和skiprows忽略一样。.../datablog/p/6127000.html 感谢博主的翻译,O(∩_∩)O哈哈~ 案例1 index_col 使用 首先准备一个txt文件,这个文件最大的问题是在每行的末尾多了一个',' ,按照提示解释为.../pandas-docs/stable/user_guide/io.html 尾声 截止到现在,本篇博客已经完成,对于pandas读取文件,相信你应该已经有一个深入的理解了。

    12.3K40

    想问一下为什么赋值不过去,还有这样写入csv文件有问题吗?

    一、前言 前几天在Python白银交流群【黄志诚】问了一个Pandas数据读写赋值的问题。问题如下:想问一下为什么赋值不过去,还有这样写入csv文件有问题吗?...代码截图如下: 二、实现过程 这里【论草莓如何成为冻干莓】给了一个思路,如下图所示:是的,对象赋值不对,你这个是对已取出的数赋值,显然是赋值不上的。看样子写入csv没什么问题。...解决方案如下:我看你这个只想修改筛选结果后的第一个值,建议使用索引的方式去修改。 如果是整列的话那就不用单独把需要修改行的索引拎出来进行索引修改了。 顺利地解决了粉丝的问题。...这篇文章主要盘点了一个Pandas处理json数据的问题,文中针对该问题,给出了具体的解析和代码实现,帮助粉丝顺利解决了问题。

    7210

    51行代码,自制Txt转MySQL软件!

    # 虚拟环境下安装需要的包 exit # 退出虚拟环境,直接关闭cmd也可 2.1 数据读取 查看示例数据发现有2种分隔符,空格和制表符\t,所以我们读取数据的时候也需要指定两种分隔符,另外这个文件没有表头...三、直接食用方法 两个代码文件,去除空格和注释,还有51行代码,嘿嘿~ 3.1 功能 GUI界面,支持选择指定文件、输入数据库用户名 密码 数据库名称 表名。...环境+windows bat运行文件,其他文件为@ 用Java写的txt to mysql方法和相关配置文件, 原项目地址:https://github.com/schatz0-0/txt-to-mysql...下可直接运行文件,启动项目) ├── txt_to_sql.py (Python代码文件,包含数据读取 处理 存储) └── txt_to_sql_gui.py (Python代码文件,包含gui界面...本项目有很多不足和可以改进的地方,欢迎大家进行学习交流~ 今天录制+简单剪辑下,明天出个视频讲解。

    1.8K20

    MLFlow︱机器学习工作流框架:MLFlow docker 实践(二)

    /app RUN pip install -r dev-requirements.txt && \ pip install -r test-requirements.txt && \...backend. 2 训练模型 以这个案例为实验:mlflow/examples/sklearn_elasticnet_wine/ 我们使用下边的train.py代码进行训练; python train.py...conda.yaml - 辅配置文件,可以不要 mlruns MLproject conda_env,代表部署环境 main代表一些参数点,和训练执行文件 这个文件,可以较快的设定训练参数 # sklearn_elasticnet_wine...(PS,执行这个命名,需cd 在 MLproject的文件之中 ) 当然,这里conda.yaml有个问题就是如果不指定channels会新建一个环境,新建的环境有可能啥依赖也没有,会报错: 譬如.../0/7c1a0d5c42844dcdb8f5191146925174/artifacts/model -p 1234 -h 0.0.0.0 这里 docker之中,-p 和 -h的端口和IP的设置还是需要的

    2K21

    python读取excel单元格内容_python如何读取文件夹下的所有文件

    1.使用python 内建的open()方法读取文本 相对路径:example/ex2.txt,文件内容如下所示: 测试内容,路径和内容,大家可根据自己心情设置。...使用open()方法读取: print('----使用 python自带的open() 读取文件-----') path = r'example/ex2.txt' frame = open(path)...(xlsx, 'Sheet1')) Excel 的表格内容如下: 此时报错: 注意:读取 后缀名为 ‘.xlsx’ 的Excel文件,需要使用附加包 ‘xlrd’ (读取 .xls)和 ‘openpyxl...执行一下代码: import pandas as pd # 使用 ExcelFile ,通过将 xls 或者 xlsx 路径传入,生成一个实例 xlsx = pd.ExcelFile(r'example...如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

    3K30

    Python Pandas PK esProc SPL,谁才是数据预处理王者?

    业界有很多免费的脚本语言都适合进行数据准备工作,其中Python Pandas具有多种数据源接口和丰富的计算函数,受到众多用户的喜爱;esProc SPL作为一门较新的数据计算语言,在语法灵活性和计算能力方面也很有特色...数据源 数据源种类 Pandas支持多种数据源,包括: 文本数据文件,包括TAB分隔的txt、逗号分隔的csv,也可自定义其它分隔符。...与Json的normalize函数不同,Pandas没有为XML提供方便的标准化函数,官方推荐用XML计算语言把多层XML计算为二维XML,常用的XML计算语言有XSLT和XPath。...mode='a',header=None) 首次创建文件和后续追加记录不同,代码细节要小心处理,代码难度显著增加。...结果集大于内存时,只要简单地把A3改为: =file("orders_filter.txt").export@tc(A2) 得益于游标机制,SPL不必手工区分首次创建文件和后续追加,代码简短得多。

    3.5K20

    挑战30天学完Python:Day20 PIP包管理

    _matplotlib PIP Freeze 当我们代码稳定稳定后,通常代码迁移时候,需要获取Python项目依赖包的安装列表,以便别人能够快速安装。这个列表要包括需要安装什么包、以及包的版本。...通常我们输出到 requirements.txt 文件中。...文件从这个网址中 https://www.w3.org/TR/WD-html40-970708/html40.txt import requests # 导入模块 url = 'https://www.w3...创建包 我们根据一些标准将大量的文件组织在不同的文件夹和子文件夹中,这样我们就可以很容易地找到和管理它们。如你所知,一个模块可以包含多个对象,比如类、函数等。一个包可以包含一个或多个相关模块。...init.py 文件 使用以下代码创建模块arithtic .py和greet.py # mypackage/arithmetics.py # arithmetics.py def add_numbers

    21310
    领券