Python处理多文件读取数据

毕业设计的代码已经写了大半了,主体的功能都实现了,在写代码的时候还是有很多有趣的问题可供大家借鉴和学习。

--本文代码为:python3--

今天笔者想和大家分享的是如何处理某个文件夹下的多个文件的问题。文件夹下的文件样子如下。

如何获取文件夹下的所有文件id值并获取相关文件中的内容,笔者的想的办法是首先得到一个包含该文件夹下的所有文件的文件名的列表。使用的代码如下,其中os.listdir()方法用于返回指定的文件夹包含的文件或文件夹的名字的列表。这个列表以字母顺序。 它不包括 '.' 和'..' 即使它在文件夹中。list_name是包含该文件夹下的所有文件名的列表。

获取所有文件的文件名后,笔者想得到这些文件的id值这样方便后续存入数据库中。但笔者在处理的时候发现绝大多数文件是有规律的,但是其中有一小部分文件是另外一个规律。(如下图)大家不难发现对于长的文件名的命名规则是:第几个文件+处理日期+对应于数据库中的id值;而短的文件名则只是由对应于数据库中的id值组成。

为了处理上述问题,获得文件的id值,笔者的办法如下图所示。其中文件的文件名按_切片后,长的文件名会切片成三部分,如:2144_20181112_2573.json会切片成[2144,20181112,2573.json];而短的文件名只会切片成一部分,如:2152.json会切片成2152.json。所以通过json字段在不在文件名切片后的第一个元素中,就可以很好的区分两种命名方式,并获得其中的id值。

最后在通过所得的相关文件的文件名得到文件的绝对路径,然后访问文件得到其中的数据即可。

所得到的结果如下图。

再然后的存入数据库的操作比较简单,我就不列举,交给大家了。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20190117G1AMVC00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券