前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >python处理大文件的内存问题

python处理大文件的内存问题

作者头像
py3study
发布2020-01-07 17:11:57
1.2K0
发布2020-01-07 17:11:57
举报
文章被收录于专栏:python3

摘要:

同学们时常会遇到要处理大文件的情况,现在是大数据时代,有些文件动辄几十个G,我们在处理这样文件的时候一不小心就把内存撑爆了,或者程序被强制kill掉了。

原因是你一次性把文件的所有内容都读取到内存里面了。python里面有方法可以一段一段的读文件。

正文:

没错,就是用iterator,又叫迭代器,实例代码如下。

cat test.py

f = open('data', 'r')

for line in f:

    line = line.split(";;")

    lines.append(line)

    if len(lines) >= 10000:

        # consume the lines which have been read

        print lines

        del lines[:]

if lines:

    # consume the lines which have been read

    print lines

cat data

73231701-201610;;shop_id::::73231701;;shop_name::::邂逅魅影;;platform_name::::xxxx;;shop_type::::个人卖家;;shop_loc::::xxx;;gold_seller::::否;;market_name::::taobao;;description::::NULL;;service::::NULL;;logistics::::NULL;;shop_owner::::洋洋103105;;create_time::::2012-08-15;;credit::::爱心4;;shop_age::::4;;co_name::::NULL;;shop_link::::https://shop73231701.example.com

73295319-201610;;shop_id::::73295319;;shop_name::::唯美为你最美;;platform_name::::xxxx;;shop_type::::个人卖家;;shop_loc::::xxx;;gold_seller::::否;;market_name::::taobao;;description::::NULL;;service::::NULL;;logistics::::NULL;;shop_owner::::chenyan121166563;;create_time::::2012-08-20;;credit::::钻石3;;shop_age::::4;;co_name::::NULL;;shop_link::::

https://shop73295319.example.com

上面的文件实际会很长,我这里只是写了两行,仅供参考。

“for line in f”每次都只会读取一行数据到内存,我们可以设置一个buffer,比如每10000行用list暂存下,处理完了之后再继续读取文件。

这样就实现了一段一段的读取文件内容到内存。是不是很酷!

赶紧试试吧!

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2019/09/11 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档