开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

社区首页 >专栏 >How to Parallel All Cmds for Linux

How to Parallel All Cmds for Linux

happy123.me

发布于 2018-06-04 12:45:59

5000

发布于 2018-06-04 12:45:59

举报

文章被收录于专栏：乐享123 乐享123乐享123

grep 一个100GB的文件总是很有压力，怎么才能提速呢?

瞎优化

1	LC_ALL=C fgrep -A 5 -B 5 'xxxxx.password' allpassseed.txt

LC_ALL=C比LC_ALL=UTF-8要块
不需要正则的话，用fgrep可以提速

不过这样优化总是治标不治本，下面隆重推出linux 里面parallel all cmds的perl工具

1	cat allpassseed.txt \|parallel --pipe --no-notice grep -f xxxxx.password

使用parallel ，和不使用parallel直接grep。结果显而易见，相差 20 倍。这比用啥 ack，ag优化效果明显多了

xargs也有一个-n的多核选项，可以作为备用

1 2 3 4 5	$ time echo {1..5} \|xargs -n 1 sleep real 0m15.005s user 0m0.000s sys 0m0.000s

这一条xargs把每个echo的数作为参数传给sleep ，所以一共sleep了 1+2+3+4+5=15秒。

如果使用 -P 参数分给5个核，每个核各sleep 1,2,3,4,5秒，所以执行完之后总共sleep的5秒。

1 2 3 4 5	$ time echo {1..5} \|xargs -n 1 -P 5 sleep real 0m5.003s user 0m0.000s sys 0m0.000s

引自:

https://www.jianshu.com/p/c5a2369fa613

本文参与腾讯云自媒体分享计划，分享自作者个人站点/博客。

如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体分享计划，欢迎热爱写作的你一起参与！

评论

登录后参与评论

0 条评论

热度

最新

LV.

目录

瞎优化
不过这样优化总是治标不治本，下面隆重推出linux 里面parallel all cmds的perl工具
xargs也有一个-n的多核选项，可以作为备用