版权声明:本文为博主原创文章,允许转载,请标明出处。 https://cloud.tencent.com/developer/article/1342936
import pandas
titanic_survival = pandas.read_csv("titanic_train.csv")
# Pandas库使用NaN(非数字)表示缺失值
# 我们可以使用pandas.isnull()函数,它获取一个pandas series并返回一系列的True和False
age = titanic_survival["Age"]
# 使用loc获取的数据时的切片,包括两端的索引对应的数据
print(age.loc[0:6])
print("--------------------------")
age_is_null = pandas.isnull(age)
# 对普通列表数据的切片,不包括右端的索引对应的数据
print(age_is_null[0:6])
print("--------------------------")
print(type(age_is_null))
print("--------------------------")
print(len(age), len(age_is_null))
import pandas
titanic_survival = pandas.read_csv("titanic_train.csv")
# 其结果是mean_age将是nan。这是因为我们对空值所做的任何计算都会得到空值
age = titanic_survival["Age"]
print(sum(age))
print("--------------------------")
mean_age = sum(age) / len(age)
print(mean_age)
print("--------------------------")
# 在计算平均值之前,我们必须过滤掉遗漏的值
age_is_null = pandas.isnull(age)
good_ages = age[age_is_null == False]
correct_mean_age = sum(good_ages) / len(good_ages)
print(correct_mean_age)
print("--------------------------")
# 丢失的数据是如此常见,以至于许多pandas方法会自动为其过滤
correct_mean_age = age.mean()
print(correct_mean_age)
import pandas
titanic_survival = pandas.read_csv("titanic_train.csv")
# 每节课平均票价
passenger_classes = [1, 2, 3]
fares_by_class = {}
for this_class in passenger_classes:
# 获取所有满足titanic_survival["Pclass"] == this_class 的数据
pclass_rows = titanic_survival[titanic_survival["Pclass"] == this_class]
# 获取符合this_class的数据的Fare列
pclass_fares = pclass_rows["Fare"]
# 求平均数并赋值到字典中
fares_by_class[this_class] = pclass_fares.mean()
print(fares_by_class)
import pandas
import numpy
titanic_survival = pandas.read_csv("titanic_train.csv")
# pivot_table 创建一个电子表格样式的数据透视表。pivot表中的级别将存储在结果DataFrame的索引和列上的多索引对象(层次索引)中
# index 告诉方法按哪个列分组
# values 是我们要应用计算的列(可选地聚合列)
# aggfunc 指定我们要执行的计算 default numpy.mean 沿着指定的轴计算算术平均数
passenger_survival = titanic_survival.pivot_table(index="Pclass", values="Survived", aggfunc=numpy.mean)
print(passenger_survival)
print("------------------------")
passenger_age = titanic_survival.pivot_table(index="Pclass", values="Age")
print(passenger_age)
print("------------------------")
port_stats = titanic_survival.pivot_table(index="Embarked", values=["Fare", "Survived"], aggfunc=numpy.sum)
print(port_stats)
import pandas
def generate_age_label(row):
age = row["Age"]
if pandas.isnull(age):
return "unknown"
elif age < 18:
return "minor"
else:
return "adult"
titanic_survival = pandas.read_csv("titanic_train.csv")
# 从每列返回第100项
# apply 沿着DataFrame的轴应用一个函数。
# axis : {0 or 'index', 1 or 'columns'}, default 0
# 0 or 'index': apply function to each column. 每列
# 1 or 'columns': apply function to each row. 每行
age_labels = titanic_survival.apply(generate_age_label, axis=1)
titanic_survival['age_labels666'] = age_labels
age_group_survival = titanic_survival.pivot_table(index="age_labels666", values="Survived")
print(age_group_survival)
import pandas
titanic_survival = pandas.read_csv("titanic_train.csv")
# dropna 删除缺失值
# axis = 0或'index': 删除包含缺失值的行
# axis = 1或'columns': 删除包含缺失值的列
# subset 像数组一样,可选的标签沿着要考虑的其他轴,例如,如果要删除行,这些将是要包含的列的列表。
# how : {'any', 'all'}
# 'any' : 如果存在任何NA值,删除该行或列。
# 'all' : 如果所有值都是NA,则删除该行或列。
drop_na_columns = titanic_survival.dropna(axis=1)
print(drop_na_columns[0:3])
print("-------------------------------------------")
new_titanic_survival = titanic_survival.dropna(axis=0, subset=["Age", "Sex"])
print(len(new_titanic_survival))
print("-------------------------------------------")
print(new_titanic_survival[0:3])
import pandas
titanic_survival = pandas.read_csv("titanic_train.csv")
# 获取第84行数据的Age列的值 (loc索引下标从0开始)
row_index_83_age = titanic_survival.loc[83, "Age"]
# 获取第767行数据的Pclass列的值 (loc索引下标从0开始)
row_index_766_pclass = titanic_survival.loc[766, "Pclass"]
print(row_index_83_age)
print(row_index_766_pclass)
import pandas
titanic_survival = pandas.read_csv("titanic_train.csv")
# 按照Age列进行升序排序
new_titanic_survival = titanic_survival.sort_values("Age", ascending=False)
print(new_titanic_survival[0:3])
print("-------------------------------")
# reset_index 对于具有多层索引的DataFrame,返回新的DataFrame,并在索引名下的列中标记信息,
# 如果没有,默认为'level_0'、'level_1'等。
# 对于标准索引,将使用索引名称(如果设置),
# 否则将使用默认的“index”或“level_0”(如果已经使用了“index”)。
# drop : boolean, default False 不要尝试在dataframe列中插入索引。这会将索引重置为默认整数索引。
titanic_reindexed = new_titanic_survival.reset_index(drop=True)
titanic_reindexed2 = new_titanic_survival.reset_index()
print(titanic_reindexed2.iloc[0:3])
print("-------------------------------")
print(titanic_reindexed.iloc[0:3])
import pandas
def hundredth_row(column):
# 提取第100项
hundredth_item = column.iloc[99]
return hundredth_item
titanic_survival = pandas.read_csv("titanic_train.csv")
# 从每列返回第100项
# apply 沿着DataFrame的轴应用一个函数。
# axis : {0 or 'index', 1 or 'columns'}, default 0
# 0 or 'index': apply function to each column. 每列
# 1 or 'columns': apply function to each row. 每行
hundredth_data = titanic_survival.apply(hundredth_row)
print(hundredth_data)
import pandas
def not_null_count(column):
column_null = pandas.isnull(column)
null = column[column_null]
return len(null)
titanic_survival = pandas.read_csv("titanic_train.csv")
# 从每列返回第100项
# apply 沿着DataFrame的轴应用一个函数。
# axis : {0 or 'index', 1 or 'columns'}, default 0
# 0 or 'index': apply function to each column. 每列
# 1 or 'columns': apply function to each row. 每行
column_null_count = titanic_survival.apply(not_null_count)
print(column_null_count)
import pandas
def which_class(row):
pclass = row['Pclass']
if pandas.isnull(pclass):
return "Unknown"
elif pclass == 1:
return "First Class"
elif pclass == 2:
return "Second Class"
elif pclass == 3:
return "Third Class"
titanic_survival = pandas.read_csv("titanic_train.csv")
# 从每列返回第100项
# apply 沿着DataFrame的轴应用一个函数。
# axis : {0 or 'index', 1 or 'columns'}, default 0
# 0 or 'index': apply function to each column. 每列
# 1 or 'columns': apply function to each row. 每行
classes = titanic_survival.apply(which_class, axis=1)
print(classes)
import pandas
def is_minor(row):
if row["Age"] < 18:
return True
else:
return False
titanic_survival = pandas.read_csv("titanic_train.csv")
# 从每列返回第100项
# apply 沿着DataFrame的轴应用一个函数。
# axis : {0 or 'index', 1 or 'columns'}, default 0
# 0 or 'index': apply function to each column. 每列
# 1 or 'columns': apply function to each row. 每行
minors = titanic_survival.apply(is_minor, axis=1)
print(minors)
import pandas
def generate_age_label(row):
age = row["Age"]
if pandas.isnull(age):
return "unknown"
elif age < 18:
return "minor"
else:
return "adult"
titanic_survival = pandas.read_csv("titanic_train.csv")
# 从每列返回第100项
# apply 沿着DataFrame的轴应用一个函数。
# axis : {0 or 'index', 1 or 'columns'}, default 0
# 0 or 'index': apply function to each column. 每列
# 1 or 'columns': apply function to each row. 每行
age_labels = titanic_survival.apply(generate_age_label, axis=1)
print(age_labels)