数据科学家必备!12个基本命令行工具帮你摆脱鼠标

大数据文摘作品

编译:汪小七、Katrine Ren、夏雅薇

本篇文章作者是Matthew Mayo,选自KDnuggets(一个著名的数据挖掘网站)。简要介绍了12种类Unix操作系统命令行工具,以及这些命令行工具对数据科学研究和数据科学家的价值。

这篇文章概述了十二个可以用于数据科学项目的类Unix操作系统命令行工具。

这一系列工具不包括任何基本的文件管理命令(pwd、ls、mkdir、rm……)和远程桌面管理工具(rsh、ssh……),但是从数据科学角度来看,这些命令行工具都是比较实用的,通常用来进行不同程度的数据检验和数据处理。

这一系列命令行工具都包含在一种特殊的类Unix操作系统中。

这些固然都是最基础的操作命令,但我还是鼓励你针对某些命令行自行查找更多的应用实例。

在本文中,工具名都可以直接链接到维基百科词条,而不是Linux的使用手册页面,我觉得前者对于新手来说更友好一点。

Linux的使用手册页面:

https://linux.die.net/man/

wget

wget是一个文件检索工具,用于从远程位置下载文件,其下载远程文件的基本用法如下:

wget:

https://en.wikipedia.org/wiki/wget

~$ wget https://raw.githubusercontent.com/uiuc-cse/data-fa14/gh-pages/data/iris.csv
--2018-03-20 18:27:21--  https://raw.githubusercontent.com/uiuc-cse/data-fa14/gh-pages/data/iris.csv
Resolving raw.githubusercontent.com (raw.githubusercontent.com)... 151.101.20.133
Connecting to raw.githubusercontent.com (raw.githubusercontent.com)|151.101.20.133|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 3716 (3.6K) [text/plain]
Saving to: ‘iris.csv’
iris.csv
100 [=======================================================================================================>]   3.63K  --.-KB/s    in 0s     
2018-03-20 18:27:21 (19.9 MB/s) - ‘iris.csv’ saved [3716/3716]

cat

cat是将文件内容标准输出的工具,此名称来自连接(concatenate)这个词。它可以用于实现一些较复杂的文件处理,包括将文件合并在一起(也就是真正的文件连接)、将文件追加到另一个文件中、以及给文件行编号等功能。

cat:

https://en.wikipedia.org/wiki/Cat_(Unix)

~$ cat iris.csv
sepal_length,sepal_width,petal_length,petal_width,species
5.1,3.5,1.4,0.2,setosa
4.9,3,1.4,0.2,setosa
4.7,3.2,1.3,0.2,setosa
4.6,3.1,1.5,0.2,setosa
5,3.6,1.4,0.2,setosa
...
6.7,3,5.2,2.3,virginica
6.3,2.5,5,1.9,virginica
6.5,3,5.2,2,virginica
6.2,3.4,5.4,2.3,virginica
5.9,3,5.1,1.8,virginica

wc

wc命令用于生成字数统计、行计数、字节计数以及与文本文件相关的内容。在没有设置其他选项的情况下,wc的默认输出是一行,由左到右依次是行数、字数统计(注意:每一行上没有空格中断的单个字符串被算作一个单词)、字符计数和文件名。

wc:

https://en.wikipedia.org/wiki/Wc_(Unix)

~$ wc iris.cs
151  151 3716 iris.csv

head

head命令是标准地输出文件的前n行(默认为10行),显示行数可以用-n项设置,如下。

Head:

https://en.wikipedia.org/wiki/Head_(Unix)

~$ head -n 5 iris.csv
sepal_length,sepal_width,petal_length,petal_width,species
5.1,3.5,1.4,0.2,setosa
4.9,3,1.4,0.2,setosa
4.7,3.2,1.3,0.2,setosa
4.6,3.1,1.5,0.2,setosa

tail

接下来猜猜看tail是用来实现什么功能的?

tail:

https://en.wikipedia.org/wiki/Tail_(Unix)

~$ tail -n 5 iris.csv
6.7,3,5.2,2.3,virginica
6.3,2.5,5,1.9,virginica
6.5,3,5.2,2,virginica
6.2,3.4,5.4,2.3,virginica
5.9,3,5.1,1.8,virginica

运行命令行魔法

find

find是用于搜索特定文件的文件系统工具。以下命令就是在树结构中搜索特殊文件的例子,即从当前目录(“.”)开始,搜索以“iris”开头,并以任意字符结尾,类型为普通文件类型(“-type f”)的文件:

find:

https://en.wikipedia.org/wiki/Find_(Unix)

~$ find . -name 'iris*' -type f
./iris.csv
./notebooks/kmeans-sharding-init/sharding/tests/results/iris_time_results.csv
./notebooks/ml-workflows-python-scratch/iris_raw.csv
./notebooks/ml-workflows-python-scratch/iris_clean.csv
...

cut

cut命令用于文本分割,虽然cut用于分割文本可以在各种标准下进行,但是它对于CSV文件中列数据的提取尤其有用。以下命令即为输出使用逗号分隔符("-d ','")的iris.csv文件的第五列(“- f 5”):

cut:

https://en.wikipedia.org/wiki/Cut_(Unix)

~$ cut -d ',' -f 5 iris.csv
species
setosa
setosa
setosa
...

uniq

uniq是通过将文本中的重复行进行去重,从而将文本输出标准化的工具。就其本身而言,这似乎并没多大用处,但是当其用于构建pipelines时(将一个命令的输出连接到另一个命令的输入等等)将变得非常有用。

uniq:

https://en.wikipedia.org/wiki/Uniq

以下命令结果是iris数据集的第五列中包含的不同类别及其计数:

~$ tail -n 150 iris.csv | cut -d "," -f 5 | uniq -c
50 setosa
50 versicolor
50 virginica

奶牛说了什么

awk

awk实际上不是一个"命令",而是一套完整的编程语言。它用于处理和提取文本, 且可以从命令行中以单行命令的形式调用。

awk:

https://en.wikipedia.org/wiki/AWK

完全掌握awk是需要一些时间的,但在此之前,这里有一个可以练习的例子。考虑到样本文件iris.csv相当有限的文本多样性,以下这行命令就可以调用awk,在给定的文件(“iris.csv”)中搜索字符串“setosa”,并将所有项(在$0变量中保存的)一个一个地标准输出如下:

~$ awk '/setosa/ { print $0 }' iris.csv
5.1,3.5,1.4,0.2,setosa
4.9,3,1.4,0.2,setosa
4.7,3.2,1.3,0.2,setosa
4.6,3.1,1.5,0.2,setosa
5,3.6,1.4,0.2,setosa

grep

grep是另一种文本处理工具,用来查找匹配字符串和正则表达式。

grep:

https://en.wikipedia.org/wiki/Grep

~$ grep -i "vir" iris.csv
6.3,3.3,6,2.5,virginica
5.8,2.7,5.1,1.9,virginica
7.1,3,5.9,2.1,virginica
...

当你需要花大量的时间进行文本处理时,grep无疑是你需要掌握的一个好工具,更多有用的信息请参考网站:

https://www.thegeekstuff.com/2009/03/15-practical-unix-grep-command-examples。

sed

sed是一个流编辑器,也是一个文本处理和转换工具,类似于awk。下面我们将用此命令把iris.csv文件中的“setosa”改为“irissetosa”:

sed:

https://en.wikipedia.org/wiki/Sed

~$ sed 's/setosa/iris-setosa/g' iris.csv > output.csv
~$ head output.csv
sepal_length,sepal_width,petal_length,petal_width,species
5.1,3.5,1.4,0.2,iris-setosa
4.9,3,1.4,0.2,iris-setosa
4.7,3.2,1.3,0.2,iris-setosa
...

history

history非常简单,但也非常有用,特别是当你需要用命令语句来完成一些重复性的数据准备工作时。

History:

https://en.wikipedia.org/wiki/History_(Unix)

~$ history547  tail iris.csv
548  tail -n 150 iris.csv
549  tail -n 150 iris.csv | cut -d "," -f 5 | uniq -c
550  clear
551  history

至此,这篇文章已经对这12个方便的命令行工具都进行了简单的介绍,这只是对数据科学(或其他任何目标)可能用到的命令行工具的一种粗浅的体验。现在,是时候让它们把你的生产力从鼠标中解放出来了。

原文链接:

https://www.kdnuggets.com/2018/03/top-12-essential-command-line-tools-data-scientists.html

原文发布于微信公众号 - 大数据文摘(BigDataDigest)

原文发表时间:2018-04-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏liuchengxu

可移植的 Makefile 教程

在我写 Makefile 的头 10 年里,我养成了一个非常不好的习惯 -- 完全严格使用 GNU Make 的扩展名。过去我并不知道, GNU Make 与...

851
来自专栏日常学python

爬虫实践: 获取百度贴吧内容

本次要爬的贴吧是<< 西部世界 >>,西部世界是我一直很喜欢的一部美剧,平时有空也会去看看吧友们都在聊些什么。所以这次选取这个吧来作为实验材料。

1592
来自专栏北京马哥教育

爬虫大神,又出新招

1775
来自专栏小怪聊职场

IntelliJ IDEA神器使用技巧(基于Mac OS X 10.5+)

位置:菜单->File->Setting->Editor->Live Templates 举例:psvm 敲出 public static void main...

1634
来自专栏linux驱动个人学习

Linux进程调度器的设计--Linux进程的管理与调度(十七)

调度器面对的情形就是这样, 其任务是在程序之间共享CPU时间, 创造并行执行的错觉, 该任务分为两个不同的部分, 其中一个涉及调度策略, 另外一个涉及上下文切换...

1582
来自专栏三丰SanFeng

Linux同步机制 - 基本概念(死锁,活锁,饿死,优先级反转,护航现象)

死锁(deadlock) 是指两个或两个以上的进程在执行过程中,因争夺资源而造成的一种互相等待的现象,若无外力作用,它们都将无法推进下去。此时称系统处于死锁状态...

3029
来自专栏小灰灰

Quick-Task 动态脚本支持框架之结构设计篇

文章链接:https://liuyueyi.github.io/hexblog/2018/07/23/180723-Quick-Task-动态脚本支持框架之结构...

1043
来自专栏我是攻城师

如何在elasticsearch里面使用深度分页功能

4618
来自专栏IT派

爬虫大神,又出新招

几乎所有玩爬虫的人,一定会用requests库,这个库的作者是大名鼎鼎的Kenneth Reitz 。牛逼的一塌糊涂,最近我浏览它的网站,发现他又出新招,一个把...

1253
来自专栏Crossin的编程教室

如何在 Python 中使用断点调试

实际上没人能一次就写出完美的代码,除了我。但是世界上只有一个我。 -- 林纳斯·托瓦兹(Linux 之父) 既然不是神,写代码自然免不了要修改。修改代码的过程被...

3096

扫码关注云+社区

领取腾讯云代金券