Python数据科学(七)- 资料清理(Ⅱ)1.资料转换2.处理时间格式资料3.重塑资料4.学习正则表达式5.实例处理

1.资料转换

1.套用向量化计算(例子依然使用我们采集的房天下的数据)

  • 计算新价格
df['总价'] * 1000
  • 使用 Numpy计算新的价格
np.sqrt() 代表开根号

import numpy as np
np.sqrt(df['总价'])
  • 合并两字符串
df['朝向'] + df['户型']
  • 将新计算的均价存入DataFrame
df['均价'] = df['总价'] * 1000 / df['建筑面积']

2.定义函数进行套用

  • map:将函数套用到Series 上的每个元素

eg. 移除物业费中的元

def removeDollar(e):
      return e.split('元')[0]

df['物业费'].map(removeDollar)

eg. 使用匿名函式

df['物业费'].map(lambda  e: e.split('元')[0])
  • Apply:将函数套用到DataFrame 上的行与列

eg:

df = pandas.DataFrame([
                      [60,70,50],\
                      [80,79,68],\
                      [63,66,82]], columns = ['First', 'Second', 'Third']
)
# 以列进行计算
df.apply(lambda e: e.max() - e.min())
# 以行进行计算
df.apply(lambda e: e.max() - e.min(), axis = 1)
  • ApplyMap:将函式套用到DataFrame上的每个元素(elementwise) 将所有暂无资料的元素替代成缺失值(NaN)
import numpy as np
df.applymap(lambda e :np.nan  if e == '暂无资料' else e)

2.处理时间格式资料

  • 打印出现在的时间
from datetime import datetime 
current_time = datetime.now()
  • 将时间转换成字符串
current_time.strftime('%Y-%m-%d')
  • 将字符串转化为时间
datetime.strptime('2017-04-21', '%Y-%m-%d')
  • 时间回溯
from datetime import timedelta
current_time - timedelta(days = 1)
  • 往前回溯10天(这里的适用场景是想取得过去10天的资讯)
for i in range(1, 10):
        dt = currnet_time - timedelta(days = i)
        print(dt.strftime('%Y-%m-%d'))

注意:这里的时间转换后的格式可以根据需要设定,eg:dt.strftime('%Y/%m/%d')

3.转换UNIX时间,即从1970年1月1日到现在过了多少秒

  • 将datetime转换为UNIX timestamp
from time import mktime
mktime(current_time.timetuple())
  • 将UNIX timestamp 转换为datetime
datetime.fromtimestamp(1492859823)

4.在pandas转换时间

  • 转换前
import pandas
df = pandas.read_excel('data/house_sample.xlsx')
df['张贴日期'] = pandas.to_datetime(df['张贴日期'], format = '西元%Y年%m月%d日')
  • 转换后

3.重塑资料

1.虚拟变量(Dummy Variable)

百度百科:虚拟变量 ( Dummy Variables) 又称虚设变量、名义变量或哑变量,用以反映质的属性的一个人工变量,是量化了的自变量,通常取值为0或1。引入哑变量可使线形回归模型变得更复杂,但对问题描述更简明,一个方程能达到两个方程的作用,而且接近现实。 eg:如下表中的朝向就可以建立一个虚拟变量

  • 建立虚拟变量
pandas.get_dummies(df['朝向'])
  • 合并虚拟变量与原DataFrame
df = pandas.concat([df, pandas.get_dummies(df['朝向'])], axis = 1)
  • 舍弃原有字段
df.drop('朝向', axis = 1)

2.建立透视表(pivot_table)

df2 = df.pivot_table(index = '张贴日期', columns = '产权性质', values = '总价', aggfunc = sum, fill_value = 0) 
# fill_value = 0 指代的是把NaN替换成0
df2.head()

没加fill_value = 0的结果

加过fill_value = 0的结果

df3 = df.pivot_table(index = '产权性质', columns = '张贴日期', values = '总价', aggfunc = sum)
df3.head()

另外,两者进行转换的话也可以直接通过df2.T做转换。

3.长宽表格的转换(stack & unstack)

  • 建立多索引的透视表
df_multi_idx = df.pivot_table(index=['楼层', '装修'],columns='张贴日期', values='总价', aggfunc=sum)
  • 转换为宽表格
df_wide = df_multi_idx.unstack()
df_wide.head()
  • 转换为长表格
df_long = df_wide.stack()
df_long.head()

4.学习正则表达式

1.正则表达式概述

正则表达式,又称正规表示式、正规表示法、正规表达式、规则表达式、常规表示法(英语:Regular Expression,在代码中常简写为regex、regexp或RE),是计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串。在很多文本编辑器里,正则表达式通常被用来检索、替换那些匹配某个模式的文本。

Regular Expression的“Regular”一般被译为“正则”、“正规”、“常规”。此处的“Regular”即是“规则”、“规律”的意思,Regular Expression即“描述某种规则的表达式”之意。

Python通过re模块提供对正则表达式的支持。使用re的一般步骤是先使用re.compile()函数,将正则表达式的字符串形式编译为Pattern实例,然后使用Pattern实例处理文本并获得匹配结果(一个Match实例),最后使用Match实例获得信息,进行其他的操作。

1.正则表达式(Regular Expression):查询和匹配字符串的规则

2.正则表达式表示数据
普通字符: 元数据,可以用于匹配指定的字符
r = “a”:用于在目标字符串中匹配小写字母a元字符
r = “.”:用于匹配任意一个字符
r = “\”:转移字符~用于将一个普通的字符,转义成一个有意义的字符
r = “\d”:表示一个0~9之间的整数
r = “\D”:表示一个非数字字符
r = “\w”:表示任意一个0~9或者字母或者下划线的字符
r = “\W”:表示任意一个特殊字符
r = “\s”:表示匹配一个空白字符
r = “\S”:表示匹配一个非空白字符
r = “^”:匹配字符串的开头位置
r = “$”:匹配字符串的结束位置
r = “\d*”:表示前面匹配的字符出现了0次或者多次
r = “\d?”:表示前面匹配的字符出现了0次或者1次
r =”\d+”:表示前面匹配的字符出现了1次或者多次

#范围匹配
分组匹配方式:将多个匹配字符当成一个完整的匹配公式
(abc):用于在目标字符串中查询abc同时出现的地方 
选择匹配方式:将指定的多个字符,选择其中一个进行匹配
[abc]:用于在目标字符串中,查询a或者b或者c出现的地方
[0-9]:用于匹配一个0~9之间的数字->等价于\d
[a-z]:用于匹配一个a-z之间的字母
[A-Z]:用于匹配一个A-Z之间的字母
[a-zA-Z]:用于匹配一个字母【大小写均可】
[a-zA-Z0-9_]:用于匹配一个非特殊字符,等价于\w

#范围匹配
\d{m, n}:匹配到的字符出现了至少m次,最多n次
\d{,20}:匹配一个数字最多出现20次
\d{8,}:匹配一个数字,最少出现8次
\d{8,16}:匹配一个数字,最少出现8次,最多出现16次

#正则表达式在python中的使用
正则表达式,在python中,主要用到了一个re模块
compile():编译正则表达式
pattern = re.compile(“^\d{2,}$”)
pattern = r‘^\d{2,}$’

pattern.match(str,begin,end):从指定的字符串str第一个字符查询匹配的字符

pattern.search(str, begin, end):从指定的字符串中直接进行查询,查询到的第一个结果作为匹配结果

pattern.findall(str):从指定的字符串中,查询符合匹配规则的字符,将所有符合的字符存放在一个列表中

pattern.finditer(str):从指定的字符串中,查询符合匹配规则的字符保存在一个可以迭代的对象中

pattern.sub():替换
pattern.split():拆分

eg:

import re
email = 'zhiji@github.com'
m = re.match('(\w+)@([a-z\.]+)', email)
or
m = re.match('(\w+)@(.+)', email)
>>>m.group(1)
zhiji
>>>m.group(2)
github.com
>>>m.groups()
('zhiji', 'github.com')

2.在DataFrame上使用正规表达式

  • 从户型用正规表达式抽取室、厅、厨、卫栏位

未处理的数据

df[['室', '厅', '厨', '卫']] = df['户型'].str.extract('(\d+)室(\d+)厅(\d+)厨(\d+)卫', expand=False)

使用正则处理过的数据

之前写过详细的正则表达式的文章,传送门在这里正则表达式

5.实例处理

我们通过对新浪微博新闻数据的采集和处理作为案例

import requests
import pandas
import re
from bs4 import BeautifulSoup

def get_article(url):
    res1 = requests.get(url)
    res1.encoding = 'utf-8'
    soup1 = BeautifulSoup(res1.text, 'html.parser')
    dic = {}
    dic['title'] = soup1.select('.page-header #artibodyTitle')[0].text
    dic['content'] = ''.join([ele.text for ele in soup1.select('.article_16 p')])
    dic['source'] = soup1.select('#navtimeSource')[0].text
    dic['keyword'] = soup1.select('.article-info .article-keywords')[0].text
    return dic

def get_all_news():
    res = requests.get('http://news.sina.com.cn/china/')
    res.encoding = 'utf-8'
    soup = BeautifulSoup(res.text, 'html.parser')
    newsary = []
    for link in soup.select('.news-item'):
        if len(link.select('h2 a')) > 0:
            newsary.append(get_article(link.select('h2 a')[0]['href']))
    df = pandas.DataFrame(newsary)
    # 进行数据清理
    df['keyword'] = df['keyword'].map(lambda e: e.split(':')[1].split())
    # df['source'] = df['source'].map(lambda e: e.split())
    df[['datetime', 'from']] = df['source'].str.extract('(\d+年\d+月\d+日\d+:\d+)[\t|\n]+?(\w+)', expand=False)
    print(df[['datetime', 'from']])
    # 因为df['datetime']是object格式,为了后期的取值,例:取年df['datetime'].map(lambda e : e.year) 我们需要把格式转换为时间格式
    df['datetime'] = pandas.to_datetime(df['datetime'], format = '%Y年%m月%d日%H:%M')
    del df['source']
    # 对即将保存的格式进行调整
    df = df[['from', 'title', 'content', 'keyword', 'datetime']]
    # 将整理好的数据储存Excel
    df.to_excel('news.xlsx')

if __name__ == '__main__':
    get_all_news()

经过清理转换后的数据

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏海天一树

程序员必须掌握的8大排序算法

分类: 1)插入排序(直接插入排序、希尔排序) 2)交换排序(冒泡排序、快速排序) 3)选择排序(直接选择排序、堆排序) 4)归并排序 5)分配排序(基数排序)...

3258
来自专栏Ryan Miao

java删除文件夹

想删除本地一个项目目录,结果windows说路径太长,不能删除。于是试了试java删除。一切ok。以后一定要抓紧时间学python。 /** * Create...

30010
来自专栏机器学习入门

挑战程序竞赛系列(86):3.6极限情况(3)

挑战程序竞赛系列(86):3.6极限情况(3) 传送门:AOJ 2201: Immortal Jewels 翻译参考至hankcs: http://www....

21910
来自专栏数据之美

Python Tips, Tricks, and Hacks

一、快速技巧 1.1、4 种引号 '  '''  "  """  print """I wish that I'd never heard him say...

2735
来自专栏数据结构与算法

洛谷P3763 [TJOI2017]DNA(后缀数组 RMQ)

具体来说,每次比较当前后缀和\(S_0\)的lcp,如果长度\(< N\)的话就从不合法的位置继续匹配

1141
来自专栏about云

Scala的map实现key和value排序及各种排序比较等知识讨论

问题导读 1.map能否直接排序? 2.如何转换,才能排序? 3.排序结果可以存储在哪两个集合中? 4._*如何使用? 5.排序函数中,哪个可以进行升序和降序...

3808
来自专栏進无尽的文章

编码篇 - 正则表达式及其相关

有时我们需要在一大段长文本中过滤出我们需要的字段,或者检验该文本是否符合要求(该文本是否是邮箱,链接,电话号码或身份证),这时候就需要用到正则表达式了,当然我们...

1142
来自专栏友弟技术工作室

golang之Struct什么是结构体struct?

最近在复习golang,学习的东西,如果不使用,很快就会忘记。所以,准备复习完golang,做一个练手的小项目,加深对golang的学习。今天开始公司,进入封闭...

5846
来自专栏包子铺里聊IT

那些年我们一起遍历过的树

这篇博文想和大家讨论一下tree的traversal有哪些方法。当然我们都很熟悉DFS(InOrder, PreOrder, PostOrder)和BFS,这...

2667
来自专栏wannshan(javaer,RPC)

dubbo序列化过程源码分析

先看下dubbo在serialize层的类设计方案 序列化方案的入口,是接口Serialization的实现类。 /** * Serialization. ...

8649

扫码关注云+社区

领取腾讯云代金券