命令行工具:csvkit命令行操作csv

csvkit

csvkit是一个处理CSV文件的一个小工具,基于python,可以直接通过pip install csvkit安装。集成了csvlookcsvcutcsvsql等好用的小工具,非常好用。可以以表格形式显示CSV文件,可以轻松选取CSV指定列,可以在其上执行SQL操作

以如下的student.csv为例,做简单演示:

name

gender

score

grade

David

male

85

B

Michael

female

90

A

Cammy

male

88

A

Tom

female

59

C

csvlook

csvlook和其他命令行一样,可以直接指定文件作为输入,也可以接受stdin作为输入。对比下效果,直接cat student.csv的输出:

<pre> name,gender,score,grade David,male,85,B Michael,female,90,A Cammy,male,88,A Tom,female,59,C </pre>

用csvlook后cat student.csv | csvlook的输出:

name

gender

score

grade

David

male

85

B

Michael

female

90

A

Cammy

male

88

A

Tom

female

59

C

<pre>

name

gender

score

grade

David

male

85

B

Michael

female

90

A

Cammy

male

88

A

Tom

female

59

C

</pre>

熟悉Markdown语法的会发现这个就是Markdown里面的表格啊!

csvcut

cut作用相似,但对CSV支持更好。比如查看列名,选取列,剔除列等。

  • csvcut -n student.csv:输出列名,当列比较多的时候特别有用,结果如下;
  • head -1 student.csv | tr ',' '\n' | cat -n:可以达到类似的效果;

<pre> 1: name 2: gender 3: score 4: grade </pre>

  • csvcut -c 1 student.csv:提取第一列;
  • csvcut -c name student.csv:按名字提取列;
  • csvcut -C 2 student.csv:提取除去第二列的其他列,如下:

name

score

grade

David

85

B

Michael

90

A

Cammy

88

A

Tom

59

C

csvstat

可以对指定列做简单地统计分析,比如想简单看一下score的统计数据,可以直接提取该列,用pipeline传递给该命令即可:

  • csvcut -c score student.csv| csvstat:产生如下结果

<pre> Type of data: Number Contains null values: False Unique values: 4 Smallest value: 59 Largest value: 90 Sum: 322 Mean: 80.5 Median: 86.5 StDev: 14.47987108598231501073829222 Most common values: 85 (1x) 90 (1x) 88 (1x) 59 (1x)

Row count: 4 </pre>

csvsql

这是一个比较狠的工具,直接在CSV文件上执行SQL查询,直接传入SQL语句即可:

  • csvsql --query "select avg(score) from student;" student.csv:计算score的均值
  • csvsql --query "select * from student where score > 85;" student.csv:选出score大于85行,如下:

name

gender

score

grade

Michael

female

90

A

Cammy

male

88

A

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏知识分享

当年参加飞思卡尔自己写的双线识别算法

原理 先找到一个白点A,然后向右找到黑点,记录黑点的位置,以当前黑点的竖坐标位置向上判断,上面的点是什么点,如果为黑点向左找白点,如果为白点向右找黑点(找到边界...

2767
来自专栏desperate633

LintCode 爬楼梯题目分析代码小结

假设你正在爬楼梯,需要n步你才能到达顶部。但每次你只能爬一步或者两步,你能有多少种不同的方法爬到楼顶部?

582
来自专栏后端技术探索

一致性hash算法清晰详解!

consistent hashing 算法早在 1997 年就在论文 Consistent hashing and random trees 中被提出,目前在 ...

841
来自专栏深度学习之tensorflow实战篇

Python基础整理操作积累

Python编程积累 列表内容 Python基础 for变化量的灵活应用 for x,y in [[0,1],[0,2],[1,2]]: d...

33010
来自专栏机器学习实践二三事

Tensorflow实现word2vec

大名鼎鼎的word2vec,相关原理就不讲了,已经有很多篇优秀的博客分析这个了. 如果要看背后的数学原理的话,可以看看这个: https://wenku.b...

4127
来自专栏深度学习之tensorflow实战篇

python下Matplotlib绘图案例与常见设置简介

首先一幅Matplotlib的图像组成部分介绍。 基本构成 在matplotlib中,整个图像为一个Figure对象。在Figure对象中可以包含一个或者多个A...

3746
来自专栏漫漫深度学习路

tensorflow学习笔记(三十四):Saver(保存与加载模型)

Saver tensorflow 中的 Saver 对象是用于 参数保存和恢复的。如何使用呢? 这里介绍了一些基本的用法。 官网中给出了这么一个例子: ...

3378
来自专栏后端技术探索

一致性hash算法清晰详解!

consistent hashing 算法早在 1997 年就在论文 Consistent hashing and random trees 中被提出,目前在 ...

731
来自专栏数据结构与算法

04:错误探测

04:错误探测 总时间限制: 1000ms 内存限制: 65536kB描述 给定n*n由0和1组成的矩阵,如果矩阵的每一行和每一列的1的数量都是偶数,则认为...

3815
来自专栏Deep Learning 笔记

MNIST__数字识别__SOFTMAX

本次MNIST的手写数字识别未采用input_data.py文件,想尝试一下用原始的数据集来运行这个DEMO。

1121

扫码关注云+社区