命令行工具:csvkit命令行操作csv

csvkit

csvkit是一个处理CSV文件的一个小工具,基于python,可以直接通过pip install csvkit安装。集成了csvlookcsvcutcsvsql等好用的小工具,非常好用。可以以表格形式显示CSV文件,可以轻松选取CSV指定列,可以在其上执行SQL操作

以如下的student.csv为例,做简单演示:

name

gender

score

grade

David

male

85

B

Michael

female

90

A

Cammy

male

88

A

Tom

female

59

C

csvlook

csvlook和其他命令行一样,可以直接指定文件作为输入,也可以接受stdin作为输入。对比下效果,直接cat student.csv的输出:

<pre> name,gender,score,grade David,male,85,B Michael,female,90,A Cammy,male,88,A Tom,female,59,C </pre>

用csvlook后cat student.csv | csvlook的输出:

name

gender

score

grade

David

male

85

B

Michael

female

90

A

Cammy

male

88

A

Tom

female

59

C

<pre>

name

gender

score

grade

David

male

85

B

Michael

female

90

A

Cammy

male

88

A

Tom

female

59

C

</pre>

熟悉Markdown语法的会发现这个就是Markdown里面的表格啊!

csvcut

cut作用相似,但对CSV支持更好。比如查看列名,选取列,剔除列等。

  • csvcut -n student.csv:输出列名,当列比较多的时候特别有用,结果如下;
  • head -1 student.csv | tr ',' '\n' | cat -n:可以达到类似的效果;

<pre> 1: name 2: gender 3: score 4: grade </pre>

  • csvcut -c 1 student.csv:提取第一列;
  • csvcut -c name student.csv:按名字提取列;
  • csvcut -C 2 student.csv:提取除去第二列的其他列,如下:

name

score

grade

David

85

B

Michael

90

A

Cammy

88

A

Tom

59

C

csvstat

可以对指定列做简单地统计分析,比如想简单看一下score的统计数据,可以直接提取该列,用pipeline传递给该命令即可:

  • csvcut -c score student.csv| csvstat:产生如下结果

<pre> Type of data: Number Contains null values: False Unique values: 4 Smallest value: 59 Largest value: 90 Sum: 322 Mean: 80.5 Median: 86.5 StDev: 14.47987108598231501073829222 Most common values: 85 (1x) 90 (1x) 88 (1x) 59 (1x)

Row count: 4 </pre>

csvsql

这是一个比较狠的工具,直接在CSV文件上执行SQL查询,直接传入SQL语句即可:

  • csvsql --query "select avg(score) from student;" student.csv:计算score的均值
  • csvsql --query "select * from student where score > 85;" student.csv:选出score大于85行,如下:

name

gender

score

grade

Michael

female

90

A

Cammy

male

88

A

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏乐沙弥的世界

RAC环境下的阻塞(blocking blocked)

      RAC环境下的阻塞不同于单实例情形,因为我们需要考虑到位于不同实例的session。也就是说之前查询的v$session,v$lock相应的应变化为...

862
来自专栏数据结构与算法

1267 老鼠的旅行 2012年CCC加拿大高中生信息学奥赛

题目描述 Description You are a mouse that lives in a cage in a large laboratory. 你是一...

3427
来自专栏青青天空树

趣味题:恺撒Caesar密码(c++实现)

描述:Julius Caesar 生活在充满危险和阴谋的年代。为了生存,他首次发明了密码,用于军队的消息传递。假设你是Caesar 军团中的一名军官,需要把Ca...

492
来自专栏Gaussic

OpenMp多线程编程计时问题 原

在做矩阵乘法并行化测试的时候,在利用<time.h>的clock()计时时出现了一点问题。

512
来自专栏帮你学MatLab

《Experiment with MATLAB》读书笔记(二)

读书笔记(二) 这是第二部分函数与绘图 将代码复制到m文件即可运行 函数部分需新建m文件保存 %% 函数 % 变量在用之前先赋0站位 % 计数或者...

2637
来自专栏程序员互动联盟

【编程基础】C语言从源程序到可执行程序

一.0,1、文本信息和字符编码 所有的信息在计算机中都是以0、1及其组合形式存在。文本信息也不例外。文本信息是以人类容易理解的方式来呈现信息。 ...

3114
来自专栏机器之心

资源 | 简单快捷的数据处理,数据科学需要注意的命令行

1505
来自专栏深度学习

利用RNN和LSTM生成小说题记

一、选取素材 本文选取的小说素材来自17k小说网的一篇小说《两只橙与遠太郎》,手工复制小说中的题记。 小说网址:http://www.17k.com/list/...

4807
来自专栏计算机视觉战队

Deeplab v2 安装及调试全过程

上期为大家带来的是从FCN到DeepLab V2的一些相关知识,今天我们就来和大家分享一些DeepLab V2的安装及调试全过程,希望可以为一些需要的科研小伙伴...

4494
来自专栏ACM小冰成长之路

51Nod-1635-第K个幸运排列

ACM模版 描述 ? 题解 image.png 代码 #include <iostream> using namespace std; typedef lo...

2028

扫码关注云+社区