本文主要介绍的是通过使用Pandas中的3个字符串相关函数来筛选满足需求的文本数据:
import pandas as pd
import numpy as np
df = pd.DataFrame({
"name":["xiao ming","Xiao zhang",np.nan,"sun quan","guan yu"],
"age":["22","19","20","34","39"],
"sex":["male","Female","female","Female","male"],
"address":["广东省深圳市","浙江省杭州市","江苏省苏州市","福建省泉州市","广东省广州市"]
})
df
df.dtypes # 查看字段类型
name object
age object
sex object
address object
dtype: object
在本次模拟的数据中,有4个特点:
我们将age字段的字符类型型转成数值型
df["age"] = df["age"].astype(float)
df
生成的数据如下,似乎和原始数据没有区别;但是我们查看属性字段的数据类型就会看到区别:
df.dtypes
name object
age float64 # 已经变成数值型
sex object
address object
dtype: object
age字段已经转成了float64位的数值型。
contains是用于Series数据的函数,基本语法如下:
Series.str.contains(
pat,
case=True,
flags=0,
na=None,
regex=True
)
# 例子1:筛选包含xiao的数据
df["name"].str.contains("xiao")
0 True
1 False
2 NaN
3 False
4 False
Name: name, dtype: object
当属性中存在缺失值的时候,需要带上na参数:
# 例子2:参数na使用
df[df["name"].str.contains("xiao",na=False)]
如果不带上则会报错:
df[df["name"].str.contains("xiao")]
# 例子3:case使用
df["name"].str.contains("xiao",case=False)
0 True
1 True
2 NaN
3 False
4 False
Name: name, dtype: object
上面的结果直接忽略了大小写,可以看到出现了两个True:也就是xiao和Xiao的数据都被筛选出来:
df[df["name"].str.contains("xiao",case=False, na=False)]
name | age | sex | address | |
---|---|---|---|---|
0 | xiao ming | 22.0 | male | 广东省深圳市 |
1 | Xiao zhang | 19.0 | Female | 浙江省杭州市 |
# 例子4:忽略大小写和缺失值
df[df["sex"].str.contains("f",case=False, na=False)]
name | age | sex | address | |
---|---|---|---|---|
1 | Xiao zhang | 19.0 | Female | 浙江省杭州市 |
2 | NaN | 20.0 | female | 江苏省苏州市 |
3 | sun quan | 34.0 | Female | 福建省泉州市 |
# 例子5:正则表达式使用
df["address"].str.contains("^广")
0 True
1 False
2 False
3 False
4 True
Name: address, dtype: bool
其中^
表示开始的符号,即:以广
开头的数据
df[df["address"].str.contains("^广")]
name | age | sex | address | |
---|---|---|---|---|
0 | xiao ming | 22.0 | male | 广东省深圳市 |
4 | guan yu | 39.0 | male | 广东省广州市 |
正则表达式中的$
表示结尾的符号;下面是筛选以市
结尾的数据:
df[df["address"].str.contains("市$")]
name | age | sex | address | |
---|---|---|---|---|
0 | xiao ming | 22.0 | male | 广东省深圳市 |
1 | Xiao zhang | 19.0 | Female | 浙江省杭州市 |
2 | NaN | 20.0 | female | 江苏省苏州市 |
3 | sun quan | 34.0 | Female | 福建省泉州市 |
4 | guan yu | 39.0 | male | 广东省广州市 |
在下面的正则表达式例子中,会在深苏泉
中任意选择一个,然后包含这个字符的数据:
df[df["address"].str.contains("[深苏泉]")]
name | age | sex | address | |
---|---|---|---|---|
0 | xiao ming | 22.0 | male | 广东省深圳市 |
2 | NaN | 20.0 | female | 江苏省苏州市 |
3 | sun quan | 34.0 | Female | 福建省泉州市 |
startswith的语法相对简单:
Series.str.startswith(pat, na=None)
指定一个字符;不接受正则表达式
df["address"].str.startswith("广")
0 True
1 False
2 False
3 False
4 True
Name: address, dtype: bool
df[df["address"].str.startswith("广")]
name | age | sex | address | |
---|---|---|---|---|
0 | xiao ming | 22.0 | male | 广东省深圳市 |
4 | guan yu | 39.0 | male | 广东省广州市 |
这种写法和正则表达式的以某个字符开头是同样的效果:
df[df["address"].str.contains("^广")]
name | age | sex | address | |
---|---|---|---|---|
0 | xiao ming | 22.0 | male | 广东省深圳市 |
4 | guan yu | 39.0 | male | 广东省广州市 |
startswith方法是自动区分大小写的:
df[df["sex"].str.startswith("f")]
name | age | sex | address | |
---|---|---|---|---|
2 | NaN | 20.0 | female | 江苏省苏州市 |
df[df["sex"].str.startswith("F")]
name | age | sex | address | |
---|---|---|---|---|
1 | Xiao zhang | 19.0 | Female | 浙江省杭州市 |
3 | sun quan | 34.0 | Female | 福建省泉州市 |
df["name"].str.startswith("xiao")
0 True
1 False
2 NaN
3 False
4 False
Name: name, dtype: object
df[df["name"].str.startswith("xiao",na=False)]
name | age | sex | address | |
---|---|---|---|---|
0 | xiao ming | 22.0 | male | 广东省深圳市 |
指定以某个字符结尾,语法为:
Series.str.endswith(pat, na=None)
# 以市结尾
df[df["address"].str.endswith("市")]
name | age | sex | address | |
---|---|---|---|---|
0 | xiao ming | 22.0 | male | 广东省深圳市 |
1 | Xiao zhang | 19.0 | Female | 浙江省杭州市 |
2 | NaN | 20.0 | female | 江苏省苏州市 |
3 | sun quan | 34.0 | Female | 福建省泉州市 |
4 | guan yu | 39.0 | male | 广东省广州市 |
# 正则的写法:contains方法
df[df["address"].str.contains("市$")]
name | age | sex | address | |
---|---|---|---|---|
0 | xiao ming | 22.0 | male | 广东省深圳市 |
1 | Xiao zhang | 19.0 | Female | 浙江省杭州市 |
2 | NaN | 20.0 | female | 江苏省苏州市 |
3 | sun quan | 34.0 | Female | 福建省泉州市 |
4 | guan yu | 39.0 | male | 广东省广州市 |
df["name"].str.endswith("g")
0 True
1 True
2 NaN
3 False
4 False
Name: name, dtype: object
df[df["name"].str.endswith("g",na=False)]
name | age | sex | address | |
---|---|---|---|---|
0 | xiao ming | 22.0 | male | 广东省深圳市 |
1 | Xiao zhang | 19.0 | Female | 浙江省杭州市 |
# 不加na参数则报错
df[df["name"].str.endswith("g")]
报错的原因很明显:就是因为name字段下面存在缺失值。当使用了na参数就可以解决