grep 一个100GB的文件总是很有压力,怎么才能提速呢?
1 | LC_ALL=C fgrep -A 5 -B 5 'xxxxx.password' allpassseed.txt |
---|
LC_ALL=C
比LC_ALL=UTF-8
要块1 | cat allpassseed.txt |parallel --pipe --no-notice grep -f xxxxx.password |
---|
使用parallel ,和不使用parallel直接grep。结果显而易见,相差 20 倍。这比用啥 ack,ag优化效果明显多了
1 2 3 4 5 | $ time echo {1..5} |xargs -n 1 sleep real 0m15.005s user 0m0.000s sys 0m0.000s |
---|
这一条xargs把每个echo的数作为参数传给sleep ,所以一共sleep了 1+2+3+4+5=15秒。
如果使用 -P 参数分给5个核,每个核各sleep 1,2,3,4,5秒,所以执行完之后总共sleep的5秒。
1 2 3 4 5 | $ time echo {1..5} |xargs -n 1 -P 5 sleep real 0m5.003s user 0m0.000s sys 0m0.000s |
---|