前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Python 删除过期文件

Python 删除过期文件

作者头像
week
发布2018-09-29 15:15:42
1.2K0
发布2018-09-29 15:15:42
举报
文章被收录于专栏:用户画像用户画像

版权声明:本文为博主-姜兴琪原创文章,未经博主允许不得转载。 https://cloud.tencent.com/developer/article/1350036

一、清理本地文件

代码语言:javascript
复制
import datetime
from utils import confUtils, hadoop
import os
import shutil
import time
import sys


def cleandir(path, duration):
    time_now = time.time()
    for root, dirs, files in os.walk(path):
        for name in files:
            mtime = os.stat(os.path.join(root, name)).st_mtime
            if time_now - mtime > 3600 * 24 * duration:
                print name
                os.remove(os.path.join(root, name))
        for dirname in dirs:
            if (datetime.datetime.now() - datetime.datetime.strptime(dirname , '%Y%m%d')).days > duration:
                print dirname
                shutil.rmtree(os.path.join(root, dirname))

二、清除HDFS文件

代码语言:javascript
复制
def clean_hdfs(hdfs_path, duration):
    log_time = (datetime.datetime.now() - datetime.timedelta(days=duration)).strftime('%Y%m%d')
    hadoop.hdfs_rm('%s/%s' % (hdfs_path, log_time), recursive=True)
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2018年09月20日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档