Linux下删除大量文件

Linux下删除大量文件

首先建立50万个文件

➜ test for i in $(seq 1 500000);do echo text >>$i.txt;done

1. rm

➜ test time rm -f *

zsh: sure you want to delete all the files in /home/hungerr/test [yn]? y

zsh: argument list too long: rm

rm -f * 3.63s user 0.29s system 98% cpu 3.985 total

由于文件数量过多,rm不起作用。

2. find

➜ test time find ./ -type f -exec rm {} \;

find ./ -type f -exec rm {} \; 49.86s user 1032.13s system 41% cpu 43:19.17 total

大概43分钟,我的电脑。。。。。。边看视频边删的。

3. find with delete

➜ test time find ./ -type f -delete

find ./ -type f -delete 0.43s user 11.21s system 2% cpu 9:13.38 total

用时9分钟。

4. rsync

首先建立空文件夹blanktest

➜ ~ time rsync -a --delete blanktest/ test/

rsync -a --delete blanktest/ test/ 0.59s user 7.86s system 51% cpu 16.418 total

16s,很好很强大。

5. Python

import os

import timeit

def main():

for pathname,dirnames,filenames in os.walk('/home/username/test'):

for filename in filenames:

file=os.path.join(pathname,filename)

os.remove(file)

if __name__=='__main__':

t=timeit.Timer('main()','from __main__ import main')

print t.timeit(1)  

1

2

➜ ~ python test.py

529.309022903

大概用时9分钟。

6. Perl

➜ test time perl -e 'for(<*>){((stat)[9]<(unlink))}'

perl -e 'for(<*>){((stat)[9]<(unlink))}' 1.28s user 7.23s system 50% cpu 16.784 total

16s,这个应该最快了。

统计一下:

命令 耗费时间

rm 文件数量太多,不可用

find with -exec 50万文件耗时43分钟

find with -delete 9分钟

Perl 16s

Python 9分钟

rsync with -delete 16s

原文发布于微信公众号 - 马哥Linux运维(magedu-Linux)

原文发表时间:2014-08-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏月色的自留地

在Mac上使用vs-code快速上手c语言学习(入门文,老鸟退散)

1.3K40
来自专栏前端儿

移动前端页面与Chrome的远程真机调试

前几日刚入手新手机小米5,系统真心流畅呀。为啥要买小米5呢,因为要提高生产力呀,好好玩移动前端开发呀哈哈哈

79530
来自专栏娱乐心理测试

小程序开发者调试工具使用说明

微信开发者工作是微信官方提供的针对微信小程序的开发工具,集中了开发,调试,预览,上传等功能。微信团队发布了微信小程序开发者工具、微信小程序开发文档和微信小程序设...

85230
来自专栏伪君子的梦呓

电脑使用 Vysor 控制手机

想用安卓手机一步一步演示个东西给别人看的时候,恰巧遇到对方不在身边;安卓手机上的东西想投影到 Windows 电脑上,用电脑控制手机,却没找到合适的方式;上班时...

37040
来自专栏xingoo, 一个梦想做发明家的程序员

安装nodejs

NodeJS现在也是很火的一门技术,使得javascript跻身到服务器端的行列。 为了使用一款轻量级的httpserver,只好安装了nodejs,其实平...

39870
来自专栏TAPD

关爱程序员从「源码」做起 | 指引

在上一篇中, 小T推荐了TAPD代码管理的神器。 在1024这个特殊的日子里, 关爱程序员就从「源码」做起。 ? 按以下步骤即可轻松get「源码」福利: 公司...

10130
来自专栏Jerry的SAP技术分享

微信程序开发系列教程(三)使用微信API给微信用户发文本消息

这个系列的第二篇教程,介绍的实际是被动方式给微信用户发文本消息,即微信用户关注您的公众号时,微信平台将这个关注事件通过一个HTTP post发送到您的微信消息服...

45520
来自专栏技术小黑屋

为Android程序申请权限注意

Android系统提供为程序提供了权限申请,即在manifest中使用uses-permission来申请即可.实现起来非常简单,但是有些问题会随之浮出水面. ...

22310
来自专栏web前端教室

零基础如何建立“前端技术体系”? --本周日晚“先行者课程”,给你示范

昨天的《WEB前端新人,怎么样构建自己的“前端技术体系”?用以在面试中打败其它竞争者》大概的写了下新人如何建立属于自己的前端技术体系,比较简单,正好今晚的先行者...

24060
来自专栏开源项目

码云周刊:当测试拿起自动化测试工具,开发仿佛看见一场悲剧正在上演!

类型:自动化测试 虽然之前小一做过几年开发,但当时对于在公司兴起的自动化测试概念还不是很清楚,觉得是一种很神秘的东西,后来通过向业内资深的测试工程师朋友咨询才恍...

42090

扫码关注云+社区

领取腾讯云代金券