介绍两款大数据清洗工具——DataWrangler、Google Refine

在进行数据分析和可视化之前,经常需要先“清洗”数据。这意味着什么?可能有些词条列表里是“New York City”,而其他人写成“New York,NY”。然而,你在看到某些模式前得将各种各样的输入词汇标准化。又或者,出现一些数值输入错误,错别字什么的。

有很多工具都可以实现你想要的功能,但大多都是付费的。对于专业人士来说,这些成本是值得的,但对于时不时才使用的业余人士来说,未免有些浪费。下面介绍的两个工具最伟大的地方就是——它们是免费的!

DataWrangler

它是做什么的:这个基于网络的服务是斯坦福大学的可视化组设计来清洗和重排数据的,因此,它的格式适用于电子表格等应用程序。

点击一行或一列,DataWrangler会有修改的建议。例如,你点击了一行空行,一些建议就出弹出来,像“删除行”或“删除空行”等。

同时,DataWrangler有一个历史记录,允许你很容易地实现撤消功能。

优点:文本编辑非常简单。例如,当我选择大标题为“Reported crime in Alabama”的样本数据的某行的“Alabama”,然后选择另一组数据的“Alaska”,它会建议提取每州的名字。把鼠标停留在建议上,就可以看到用红色突出显示的行。

缺点:我发现当我试图探索DataWrangler的选项时会发生一些预料之外的变化。我不得不经常点击“清空”进行重设。还有,有的建议是没用的(当某行是空行的时候,“把行提到标题行”似乎是个奇怪的建议),还有,有的建议很难理解(”fold split 1 using 2 as key”)。

DataWrangler是基于网络的服务,非常方便使用。但不要忘记,代价是必须把数据上传到外部网站。也就是说,对于敏感的内部数据,DataWrangler就不是合适的选择了。不过,未来会有独立的桌面版本。另一个必须考虑的事情是,DataWrangler是用现行的alpha码编写的,它的创建者说它(alpha码)还在改进中。

技能水平:高级新手

运行环境:任何网络浏览器

Google Refine

它是做什么的:第一眼看Google Refine的文本和数字时,可以将它描述为电子表格。像Excel一样,它可以导入导出多种格式的数据,如标签或逗号分隔的文本文件、Excel、XML和JSON文件。

Refine设有内置算法,可以发现一些拼写不一样但实际上应分为一组的文本。导入你的数据后,选择编辑单元格->聚类,编辑,然后选择要用的算法。

Refine运行后,你得决定接受或不接受每条建议。例如,你可以同意将Microsoft和Microsoft Inc作为同个组合,但不同意将Coach Inc 和CQG Inc作为同个组合。假如它提供太少或太多的建议,你可以更改建议功能的强度。

还有数据选项,提供快速简单的数据分布概貌。这个功能可以揭示那些可能由于输入错误导致的异常——例如,工资记录不是80,000美元而竟然是800,000美元;或指出不一致的地方——例如薪酬数据记录之间的差异,有的是计时工资,有的是每周支付,有的是年薪。

除了数据管家功能,Google Refine还提供了一些有用的分析工具,例如排序和筛选。

优点:一旦熟悉Refine的命令和功能,它将是一个强大的数据处理和分析工具,既功能强大又易用。每个操作的撤消/重做列表让你随时回到想要的状态。文本编辑应用Java正则表达式,允许你查找模式(例如,3个数字后跟着两个数位)或特定的字符串或数值。

最后,虽然Refine是一个基于浏览器的应用程序,但适用于桌面文件,因此你的数据可以保留在本地。

缺点:尽管Refine看起来像电子表格,但你无法用它实现典型的电子表格计算。因此,你必须将数据导出到常见的电子表格应用。如果你的数据集很大,得留出一些时间仔细检查Refine的建议,这需要好些时间。还有,这点因数据集而异,当你准备合并一些文本项时,很有可能会得到一些错的建议或忽略一些问题——或两者兼有。

技能水平:高级新手。

运行环境:Windows、Mac OS、Linux

原文发布于微信公众号 - CSDN技术头条(CSDN_Tech)

原文发表时间:2015-02-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据小魔方

数据地图系列8|R语言版数据地图(下)

今天要跟大家分享的是数据地图系列的第八篇——R语言版数据地图(下),分省(市级)热力地图。 步骤与昨天分享的中国热力地图步骤基本一致,只是需要调用的数据文件和需...

4098
来自专栏SAP最佳业务实践

想学FM系列(13)-SAP FM模块:预算结构(4)-预算结构配置-层次结构

4)激活多级预算结构 ? 指定财务管理范围激活多级预算结构。如果激活后,在某一年度想要不激活多层级预算结构,需加一条配置,从该这一年度不激活,“激活”参数不选即...

4417
来自专栏企鹅号快讯

微信跳一跳可以用 Python 刷分;macOS 再曝重大安全漏洞,或许已存在 15 年

转自:开源中国、solidot、cnBeta、腾讯科技等 ? 如果你每次都能挑到各自的正中间的话,可以 + 2 分,如果连着跳到中间会 + 4、+6、+8、+1...

22410
来自专栏Crossin的编程教室

【Pygame 第1课】 hello pygame

我们已经把python的基本内容讲得差不多了,所以从今天起,尝试一下新的方面:pygame -- 用python来写游戏。 pygame是一个python的游戏...

35510
来自专栏施炯的IoT开发专栏

在Windows Mobile上实现自动拼写和匹配建议

使用Windows Mobile手机的朋友,应该有一个体会,那就是要查找某个联系人,在输入目标联系人名字的过程中,系统会实时按照所输入的内容来筛选,呈现...

2029
来自专栏跨界架构师

分布式系统关注点——仅需这一篇,吃透「负载均衡」妥妥的

  上一篇《分布式系统关注点——初识「高可用」》我们对「高可用」有了一个初步认识,其中认为「负载均衡」是「高可用」的核心工作。那么,本篇将通过图文并茂的方式,来...

1482
来自专栏DHUtoBUAA

基于8211lib库对s57电子海图的解析和存储

  电子海图是为适用航海需要而绘制的包含海域地理信息和航海信息的一种数字化的专题地图,符合国际标准的电子海图数据统称为S-57电子海图。本文主要在S-57电子海...

5284
来自专栏机器之心

教程 | 如何使用Docker、TensorFlow目标检测API和OpenCV实现实时目标检测和视频处理

选自TowardsDataScience 作者:Léo Beaucourt 机器之心编译 参与:李诗萌、路雪 本文展示了如何使用 Docker 容器中的 Ten...

4596
来自专栏施炯的IoT开发专栏

Windows on Device 项目实践 3 - 火焰报警器制作

在前两篇《Windows on Device 项目实践 1 - PWM调光灯制作》和《Windows on Device 项目实践 2 - 感光灯制作》中,我们...

20710
来自专栏玉树芝兰

如何用VOSviewer分析CNKI关键词共现?

用VOSviewer尝试CNKI中文文献关键词共现(keyword co-occurence)分析时,你可能会踩到一个大坑。本文帮助你绕开这个坑,或是从坑里爬出...

1252

扫码关注云+社区

领取腾讯云代金券