腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

数据分析

数据清洗，数据预处理，特征提取，特征选择，数据分析，机器学习，深度学习

专栏作者

41

文章

57119

阅读量

47

订阅数

[数据清洗]-混乱的邮编数据

内容概要：我们怎么知道是混乱的数据修复 nan 值和字符串/浮点类型的混乱问题 “-”怎么处理整合代码 # 导入需要的包 import pandas as pd import numpy as np # 可以展示比较多的列，60 列 pd.set_option('display.line_width', 5000) pd.set_option('display.max_columns', 60) 混杂数据最重要的一个问题就是：怎么知道是否是混杂的数据。下面准备使用 N

2018-03-01

1.8K0

[数据清洗]-Pandas 清洗“脏”数据（一）

概要准备工作检查数据处理缺失数据添加默认值删除不完整的行删除不完整的列规范化数据类型必要的转换重命名列名保存结果更多资源 Pandas 是 Python 中很流行的类库，使用它可以进行数据科学计算和数据分。他可以联合其他数据科学计算工具一块儿使用，比如，SciPy，NumPy 和 Matplotlib，建模工程师可以通过创建端到端的分析工作流来解决业务问题。虽然我们可以 Python 和数据分析做很多强大的事情，但是我

2018-03-01

3.8K0

[数据清洗]- Pandas 清洗“脏”数据（二）

概要了解数据分析数据问题清洗数据整合代码了解数据在处理任何数据之前，我们的第一任务是理解数据以及数据是干什么用的。我们尝试去理解数据的列/行、记录、数据格式、语义错误、缺失的条目以及错误的格式，这样我们就可以大概了解数据分析之前要做哪些“清理”工作。本次我们需要一个 patient_heart_rate.csv （链接：https://pan.baidu.com/s/1geX8oYf 密码：odj0）的数据文件，这个数据很小，可以让我们一目了然。这个数据是 csv 格式。数据是描述不同个体在不

2018-03-01

2.1K0

[数据清洗]- Pandas 清洗“脏”数据（三）

预览数据这次我们使用 Artworks.csv ，我们选取 100 行数据来完成本次内容。具体步骤：导入 Pandas 读取 csv 数据到 DataFrame（要确保数据已经下载到指定路径） DataFrame 是 Pandas 内置的数据展示的结构，展示速度很快，通过 DataFrame 我们就可以快速的预览和分析数据。代码如下： import pandas as pd df = pd.read_csv('../data/Artworks.csv').head(100) df.head(1

2018-03-01

1.5K0

[数据清洗]-看上去一样的数字

数据不正确（格式不正确，数据不准确，数据缺失）我们做什么都是徒劳。数据清洗时数据分析的第一步，也是最耗时的一步。数据清洗很枯燥，但是随着数据清理技巧越来越熟练，就有越有可能从他人无从下手的文档中获取

2018-03-01

8830

[数据分析工具] Pandas 不可不知的功能（一）

如果你在使用 Pandas（Python Data Analysis Library）的话，下面介绍的对你一定会有帮助的。首先我们先介绍一些简单的概念 DataFrame：行列数据，类似 Excel 的 sheet，或关系型数据库的表 series：单列数据 axis：0：行，1：列 shape：DataFrame的行列数，（行数，列数） 1. 加载 CSV Read_csv 方法有很多参数，有效的利用这些参数可以减轻数据预处理的工作。谁都不愿意做数据清洗，那么我们就在加载数据的时候做一些简

2018-03-01

1.6K0

[数据分析工具] Pandas 功能介绍（二）

条件过滤我们需要看第一季度的数据是怎样的，就需要使用条件过滤体感的舒适适湿度是40-70，我们试着过滤出体感舒适湿度的数据最后整合上面两种条件，在一季度体感湿度比较舒适的数据列排序数据按照某

2018-03-01

1.6K0

IIS发布WCF问题

Server Error in '/' Application. ---- Configuration Error Description: An error occurred during the processing of a configuration file required to service this request. Please review the specific error details below and modify your configuration file appro

2018-03-01

9360

使用Visual Studio 2010 一步一步创建Powershell Module 和 Cmdlet

之前写了一个C# 调用PowerShell方法，那么怎么反过来操作呢，也就是怎么样用C#写一个powershell命令呢？现在就用C#写一个超级简单的Module和Cmdlet 1. 在VS中创建

2018-03-01

1.1K0

[数据分析工具] Pandas 功能介绍（二）

我们需要看第一季度的数据是怎样的，就需要使用条件过滤

2018-01-30

1.2K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态