专栏首页接地气学堂【Data Mining】机器学习三剑客之Pandas常用用法总结(上)

【Data Mining】机器学习三剑客之Pandas常用用法总结(上)

一、前言

看pandas之前我建议先看我的numpy总结,效果更佳。 【Data Mining】机器学习三剑客之Numpy常用用法总结 可以大概理解为numpy主要是用来生成数据,并且进行数据运算的工具 而pandas主要是用来整个数据的管理,也就是整个数据的摆放或是一些行列的操作等等。当然也不完全是这个样子。

二、下载、安装、导入

用anaconda安装是十分方便的,如果你已经安装了tf,keras之类的,其实已经直接把numpy安装了,一般来说安装就是pip命令。

pip install pandas #py2
pip3 install pandas #py3

用法则是

import pandas as pd # 一般as为pd来操作

三、常用用法总结

1.Series

# -*- coding: utf-8 -*-
import pandas as pd
import numpy as np

df1 = pd.DataFrame(np.arange(12).reshape((3, 4)))
print df1
"""
   0  1   2   3
0  0  1   2   3
1  4  5   6   7
2  8  9  10  11
"""
s = pd.Series([1, 1, 44, 22]) #创建一个series
s_type_int_float = pd.Series([1, 1, 44, 22], dtype=np.float32) #更改type
s_type = pd.Series([1, np.nan, 44, 22]) #np.nan就是就是Nan缺省值
16   #更改index
s_index = pd.Series([1, np.nan, 44, 22], index=["c", "h", "e", "hongshu"])
print("s:")
print(s)
print("s_type_int_float:")
print(s_type_int_float)
print("s_type:")
print(s_type)
print("s_index:")
print(s_index)
"""
s:
0     1
1     1
2    44
3    22
dtype: int64

s_type_int_float:
0     1.0
1     1.0
2    44.0
3    22.0
dtype: float32

s_type:
0     1.0
1     NaN
2    44.0
3    22.0
dtype: float64

s_index:
c           1.0
h           NaN
e          44.0
hongshu    22.0
dtype: float64
"""

一些说明:

  • series相当于dataframe的一个元素,pandas的主体数据类型为dataframe,一个series单位相当于dataframe的一行,当然是连带这整个dataframe的column和元素dtype的信息的。(ps:这里可以先记着,后面慢慢才能全都懂,先记住这么个关系,后面讲)
  • 生成series的左面一列其实就是dataframe的每一列的index,例如上述s左面为[0, 1, 2, 3]其实就是和我上面写的那个dataframe的最上面的单独的一行对应,代表每一列的名字,有点像excel表格中的每一列的name。
  • 上述采用list生成的series,理论上用array-like的形式都可以生成,当然numpy毋庸置疑可以后面会有展示,如果生成的series的list中的每个元素为整型,则dtype默认推理为int64,如果元素中海包括nan缺省值则按浮点数处理,所以默认为float64,可知如果都为浮点数则默认为float64。
  • 如果要是自定义dtype和往常一样自然转换,整数化或者浮点化。
# -*- coding: utf-8 -*-
import pandas as pd
import numpy as np

s_np1 = pd.Series(np.arange(6)) #利用numpy生成series的方法

data_numpy = np.array([1, 2, 3, 45], dtype=np.float32)
s_np2 = pd.Series(data_numpy)

data_numpy1 = np.array([1, 2, 3, 45], dtype=np.int8)
s_np3 = pd.Series(data_numpy1)

data_numpy2 = np.array([1, 2, 3, 45])
s_np4 = pd.Series(data_numpy2)

print(s_np1)
print(s_np2)
print(s_np3)
print(s_np4)
"""
0    0
1    1
2    2
3    3
4    4
5    5
dtype: int64
0     1.0
1     2.0
2     3.0
3    45.0
dtype: float32
0     1
1     2
2     3
3    45
dtype: int8
0     1
1     2
2     3
3    45
dtype: int64
"""

上面这个主要看dtype,可知规律为通过numpy生成series时dtype跟随numpy的类型。

2、 DataFrame

①、df的index和colomns操作

# -*- coding: utf-8 -*-
import pandas as pd
import numpy as np


# 通过numpy生成随机0-10的shape为(3, 4)的dataframe
df_np = pd.DataFrame(np.random.randint(low=0, high=10, size=(3, 4)))
print(df_np)

# 生成随机-1-1的dataframe
# 更改index
df_index = pd.DataFrame(np.random.randn(3, 4), index=['f', 's', 't'])
print(df_index)

# 更改column
df_colums = pd.DataFrame(np.arange(12).reshape((3, 4)), columns=['che', 'hong', 'shu', '24'])
print(df_colums)

"""
   0  1  2  3
0  2  3  0  3
1  7  0  5  8
2  0  5  2  7

          0         1         2         3
f -2.216776 -1.506733  0.870351  1.361973
s  1.104645 -1.538397 -0.616963 -2.101459
t -1.423237 -0.378047 -0.294814 -0.200800

   che  hong  shu  24
0    0     1    2   3
1    4     5    6   7
2    8     9   10  11
"""

#use dict to create dataframe
dates_value = pd.date_range('20181222', periods=3)
#dict的key对应于df的colomn
df_dict = pd.DataFrame({'che': 22.22,
                        'hong': pd.Series(np.array([1, 2, 3], dtype=np.float32)),
                        'shu': dates_value})
print(df_dict)
"""
     che  hong        shu
0  22.22   1.0 2018-12-22
1  22.22   2.0 2018-12-23
2  22.22   3.0 2018-12-24

这里需要注意的一点:dataframe中的colomn参数其实就是series中的index。

总结一下:

  • dataframe可以通过dict和numpy生成
  • 主要设置参数为index和colomns, index为每行的名称,colomns为每列的,对应于每一行的series的index。
  • 利用dict生成dataframe时,dict的keys对应于dataframe的colomns

②、df的各种属性

import pandas as pd
import numpy as np
# pandas.Categorical
#https://blog.csdn.net/weixin_38656890/article/details/81348539


df2 = pd.DataFrame({'A': 1.,
                    'B': pd.Timestamp('20130102'),
                    'C': pd.Series(1, index=list(range(4)), dtype='float32'),
                    'D': np.array([3, 6, 9, 12], dtype=np.int32),
                    'E': pd.Categorical(["test", "train", "test", "train"]),
                    'F': 'che'})
print(df2)
print(df2.dtypes) #return the data type of each column.
"""
     A          B    C   D      E    F
0  1.0 2013-01-02  1.0   3   test  che
1  1.0 2013-01-02  1.0   6  train  che
2  1.0 2013-01-02  1.0   9   test  che
3  1.0 2013-01-02  1.0  12  train  che
A           float64
B    datetime64[ns]
C           float32
D             int32
E          category
F            object
"""
print(df2.index)
print(df2.columns)
"""
Int64Index([0, 1, 2, 3], dtype='int64')
Index([u'A', u'B', u'C', u'D', u'E', u'F'], dtype='object')
"""
print(df2.values)
# 返回数据类型为numpy可知取出元素其中一个方法是变成list之后取出即可
# 当然这个方法速度慢,有更好的内置取值的方法
print(type(df2.values))
"""
[[1.0 Timestamp('2013-01-02 00:00:00') 1.0 3 'test' 'che']
 [1.0 Timestamp('2013-01-02 00:00:00') 1.0 6 'train' 'che']
 [1.0 Timestamp('2013-01-02 00:00:00') 1.0 9 'test' 'che']
 [1.0 Timestamp('2013-01-02 00:00:00') 1.0 12 'train' 'che']]
<type 'numpy.ndarray'>
"""
# 数字类data的各种数学计算结果
# 数量、平均、标准差、最小等  
print(df2.describe())
"""
         A    C          D
count  4.0  4.0   4.000000
mean   1.0  1.0   7.500000
std    0.0  0.0   3.872983
min    1.0  1.0   3.000000
25%    1.0  1.0   5.250000
50%    1.0  1.0   7.500000
75%    1.0  1.0   9.750000
max    1.0  1.0  12.000000
"""

"""
原dataframe 方便对比观看
     A          B    C   D      E    F
0  1.0 2013-01-02  1.0   3   test  che
1  1.0 2013-01-02  1.0   6  train  che
2  1.0 2013-01-02  1.0   9   test  che
3  1.0 2013-01-02  1.0  12  train  che
"""
print(df2.T)  #转置
"""                     0         ...                             3
A                    1         ...                             1
B  2013-01-02 00:00:00         ...           2013-01-02 00:00:00
C                    1         ...                             1
D                    3         ...                            12
E                 test         ...                         train
F                  che         ...                           che
"""
print(df2.sort_index(axis=1, ascending=False))  # axis=1 相当于colomn元素排序
print(df2.sort_index(axis=0, ascending=False))  # axis=0 相当于index排序
#  其他value顺着index或者colomns排序即可
"""
     F      E   D    C          B    A
0  che   test   3  1.0 2013-01-02  1.0
1  che  train   6  1.0 2013-01-02  1.0
2  che   test   9  1.0 2013-01-02  1.0
3  che  train  12  1.0 2013-01-02  1.0
     A          B    C   D      E    F
3  1.0 2013-01-02  1.0  12  train  che
2  1.0 2013-01-02  1.0   9   test  che
1  1.0 2013-01-02  1.0   6  train  che
0  1.0 2013-01-02  1.0   3   test  che
"""
print(df2.sort_values(by='E')) #通过colomn为E的单位的value来排序(如果是数字则按数字大小排列,字母按字母大小)
"""
     A          B    C   D      E    F
0  1.0 2013-01-02  1.0   3   test  che
2  1.0 2013-01-02  1.0   9   test  che
1  1.0 2013-01-02  1.0   6  train  che
3  1.0 2013-01-02  1.0  12  train  che
"""

3、select

# -*- coding: utf-8 -*-
import pandas as pd
import numpy as np

dates = pd.date_range('20121222', periods=6)
df = pd.DataFrame(np.arange(24).reshape((6, 4)), index=dates, columns=['A', 'B', 'C', 'D'])
#easy selection
print(df)
"""
             A   B   C   D
2012-12-22   0   1   2   3
2012-12-23   4   5   6   7
2012-12-24   8   9  10  11
2012-12-25  12  13  14  15
2012-12-26  16  17  18  19
2012-12-27  20  21  22  23
"""
# select 'A' colomn
print(df['A'])
print(df.A)
"""
2012-12-22     0
2012-12-23     4
2012-12-24     8
2012-12-25    12
2012-12-26    16
2012-12-27    20
Freq: D, Name: A, dtype: int64
2012-12-22     0
2012-12-23     4
2012-12-24     8
2012-12-25    12
2012-12-26    16
2012-12-27    20
Freq: D, Name: A, dtype: int64
"""
# select 0-3 rows
print(df[0: 3])
print(df['2012-12-22':'2012-12-24'])
"""
            A  B   C   D
2012-12-22  0  1   2   3
2012-12-23  4  5   6   7
2012-12-24  8  9  10  11
            A  B   C   D
2012-12-22  0  1   2   3
2012-12-23  4  5   6   7
2012-12-24  8  9  10  11
"""



"""
原dataframe, 适宜对比观看
             A   B   C   D
2012-12-22   0   1   2   3
2012-12-23   4   5   6   7
2012-12-24   8   9  10  11
2012-12-25  12  13  14  15
2012-12-26  16  17  18  19
2012-12-27  20  21  22  23
"""
# select by label= loc
# 这里的label其实就是我之前说dataframe对应的colomn和index
# 和平时的二维的numpy选取相似,只是把index转换为对应的label name

print(df.loc['20121224']) #loc[]内单个一个label name时为行的index name
print(df.loc[:, 'A':'C']) # : 代表所有的行都要 逗号后面为colomns的label name
"""
A     8
B     9
C    10
D    11
Name: 2012-12-24 00:00:00, dtype: int64
             A   B   C
2012-12-22   0   1   2
2012-12-23   4   5   6
2012-12-24   8   9  10
2012-12-25  12  13  14
2012-12-26  16  17  18
2012-12-27  20  21  22
"""
print(df.loc[:, ['A', 'C']])
print(df.loc['20121223', ['A', 'C']])
"""
             A   C
2012-12-22   0   2
2012-12-23   4   6
2012-12-24   8  10
2012-12-25  12  14
2012-12-26  16  18
2012-12-27  20  22
A    4
C    6
Name: 2012-12-23 00:00:00, dtype: int64
"""

"""
原dataframe, 适宜对比观看
             A   B   C   D
2012-12-22   0   1   2   3
2012-12-23   4   5   6   7
2012-12-24   8   9  10  11
2012-12-25  12  13  14  15
2012-12-26  16  17  18  19
2012-12-27  20  21  22  23
"""
# select by position(index)= iloc
# 这里的selection index其实就是完全和numpy相似
# (row index, colomn index)
# 利用行的索引和列的索引来取值
print(df.iloc[3])
print(df.iloc[3:5, 1:3])
print(df.iloc[[1, 3], 1:3])
"""
A    12
B    13
C    14
D    15
Name: 2012-12-25 00:00:00, dtype: int64
             B   C
2012-12-25  13  14
2012-12-26  17  18
             B   C
2012-12-23   5   6
2012-12-25  13  14
"""

# mixed selection = ix
# label + position selection
print(df.ix[1, ['A', 'D']])
"""
A    4
D    7
Name: 2012-12-23 00:00:00, dtype: int64
"""
# Boolean indexing
# use bool to select
print(df[df.B > 9])
"""
             A   B   C   D
2012-12-25  12  13  14  15
2012-12-26  16  17  18  19
2012-12-27  20  21  22  23
"""

一些总结:

  • 一种选择数据有五种:简单直接选取,label选取(loc),index选取(iloc),混合选取(ix),真假选取
  • 其实第二种到第四种选取,有规律可言,其实都是[row,colomn]的组合而已,只是一个是用label name,一个是index name,混合是label or index
  • 第一种其实就是label或者index的单列或者行选取,但是也有特殊表达比如df.A
  • 最后一种主要用于删选数据的。

4、读取文件,输出文件

在使用中主要针对于excel文件和csv文件,个人推荐csv文件,因为在很多比赛和项目中都采用此类型,主要是兼容性好一些,我在linux下使用excel问题很多,当然对于pandas两样的使用很相似。 首先我们采用常用的机器学习数据集:iris数据集,链接如下

数据集简单介绍:鸢尾花的特征作为数据来源,数据集包含150个数据集,分为3类,每类50个数据,每个数据包含4个属性,数据集iris.csv截图如下。

数据集内容 此处进行简单读入,并按照算法输入进行简单处理,并输出

import pandas as pd
import numpy as np
# 读csv文件
Iris_dataset = pd.read_csv("./Iris_dataset/iris.csv")
# 给每列一个column label
Iris_dataset.columns = ['data_index', 'sepal_len', 'sepal_width', 'petal_len', 'petal_width', 'class']
# drop掉第一列(无用的列,表示数据index)
Iris_dataset.drop(columns='data_index', axis=1, inplace=True)
# 判断是否存在nan
if np.any(Iris_dataset.isnull()) == True:
    print("有空缺值")
    Iris_dataset.dropna()
else:
    print("无空缺值")
# 进行把string label name转换为int型
def fun(x):
    if x == 'setosa':
        return 0
    elif x == 'versicolor':
        return 1
    elif x == 'virginica':
        return 2
Iris_dataset['class'] = Iris_dataset['class'].apply(lambda x: fun(x))
# 前五条数据
print(Iris_dataset.head())
# 输出.csv文件
Iris_dataset.to_csv('iris_handle_data')

输出文件如下:

输出结果 主要输出输入,我建议使用.csv数据,若使用excel文件函数如下

p = pd.read_excel()
p.to_excel()

本文分享自微信公众号 - 接地气学堂(gh_ff21afe83da7),作者:Che_Hongshu

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-05-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 不喜欢现在的工作,该怎么办?

    当自己对工作不满意,先做个简单的判断:到底是什么让我不满?判断的方法,可以参照下图所示:

    接地气的陈老师
  • 火热的背后,一个在线教育老师的观察与反思

    然而时代变迁,老师这个称呼也经常被滥用。处于项目研究的目的,陈老师也卧底过那种微商大会,会场里人山人海,热情高涨。舞台上一个西装革履油头粉面的人,也会被称为“老...

    接地气的陈老师
  • 咨询公司的数据分析模型有多高大上?带你涨涨姿势!

    做数据分析的同学们都见过下边这种矩阵,很多人对此顶礼膜拜,甚至还有一些网文作者直接就把:矩阵思维、矩阵模型、矩阵法招呼上了,说它是数据分析的“底层思想”“核心逻...

    接地气的陈老师
  • Python代码调试的那些“最少且必要”技巧

    异常处理模块能帮助我们在运行期间处理异常信息,但Python代码还有更为基础的错误——语法错误和逻辑错误。

    博文视点Broadview
  • C++核心准则T.69:在模板内部,不要进行不受限制的非成员函数调用

    T.69: Inside a template, don't make an unqualified non-member function call unle...

    面向对象思考
  • 【陆勤笔记】《深入浅出统计学》2 集中趋势的度量:中庸之道

    作者:王陆勤 有时候,把握问题的核心是当务之急。你的核心竞争力是什么?认识事物,要抓重点,抓事物的本质。这个方法论,也是一个很好的学习之道。 从一大堆数字中看出...

    小莹莹
  • 【Lua菜鸟②】数据类型

    Lua是动态类型语言,变量不要类型定义,只需要为变量赋值。 值可以存储在变量中,作为参数传递或结果返回。(我想了想python) -- 用来单行注释 --[[...

    Rare0716
  • 小白谈数据脱敏

    什么是数据脱敏? 百度百科是这样描述的: 数据脱敏是指对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感...

    zhisheng
  • 手把手教你学Numpy教程,从此数据处理不再慌【三】——索引篇

    上篇的末尾其实我们简单地提到了索引,但是没有过多深入。没有过多深入的原因也很简单,因为numpy当中关于索引的用法实在是很多,并不是我们想的那样用一个下标去获取...

    TechFlow-承志
  • SQL笔试50题(上)

    本节内容,我们使用在入门内容部分介绍的在线SQL平台sql fiddle进行测试。

    fireWang

扫码关注云+社区

领取腾讯云代金券