数据清理的最全指南

清理和理解数据对结果的质量都会有很大影响。

目录

· 数据质量(合法性，准确性，完整性，一致性)

· 工作流程(检查，清洁，验证，报告)

· 检查(数据分析，可视化，软件包)

· 清理(无关数据，重复数据，类型转换，语法错误)

· 验证

· 总结

数据质量

合法性：数据符合定义的业务规则或约束的程度。

准确性：数据接近真实值的程度。

完整性：所有必需数据的已知程度。

一致性：数据在同一数据集内或跨多个数据集的一致程度。

具体判定标准检测方法见全文：

https://www.toutiao.com/i6670031809427800587/

工作流程

1.检查：检测不正确和不一致的数据。

2.清洁：修复或删除发现的异常。

3.验证：清洁后，检查结果以验证是否正确。

4.报告：记录所做更改和当前存储数据质量的报告。

清理

数据清理涉及基于问题和数据类型的不同技术。可以应用不同的方法，每种方法都有自己的权衡。总的来说，不正确的数据被删除，纠正或估算。

不相关的数据：

不相关的数据是那些实际上不需要的数据，并且不适合我们试图解决的问题。

重复项：

重复项是数据集中重复的数据点。

类型转换：

确保将数字存储为数字数据类型，日期应存储为日期对象，或Unix时间戳(秒数)，依此类推。如果需要，可以将分类值转换为数字和从数字转换。

需要注意的是，无法转换为指定类型的值应转换为NA值(或任何值)，并显示警告。这表示值不正确，必须修复。

语法错误：

见全文。

验证

完成后，应通过重新检查数据并确保其规则和约束确实存在来验证正确性。