在数据框架中创建计算列

标签：Python与Excel,pandas

在Excel中，我们可以通过先在单元格中编写公式，然后向下拖动列来创建计算列。在PowerQuery中，还可以添加“自定义列”并输入公式。在Python中，我们创建计算列的方式与PQ中非常相似，创建一列，计算将应用于这整个列，而不是像Excel中的“下拉”方法那样逐行进行。要创建计算列，步骤一般是：先创建列，然后为其指定计算。

准备演示用的数据框架

我们将从百度百科获取世界500公司名称和相关信息：

https://baike.baidu.com/item/%E4%B8%96%E7%95%8C500%E5%BC%BA/640042?fr=aladdin

import pandas as pd

df = pd.read_html('https://baike.baidu.com/item/%E4%B8%96%E7%95%8C500%E5%BC%BA/640042?fr=aladdin')[1]

下面是获取的表。

图1

在pandas中创建计算列的关键

如果有Excel和VBA的使用背景，那么一定很想遍历列中所有内容，这意味着我们在一个单元格中创建公式，然后向下拖动。然而，这不是Python的工作方式。其正确的计算方法类似于Power Query，对整个列执行操作，而不是循环每一行。基本上，我们不会在pandas中循环一列，而是对整个列执行操作。这就是所谓的“矢量化”操作。Power Query似乎可以做到这一点，但效率不如Python。

panda数据框架中的字符串操作

让我们看看下面的示例，从公司名称列中拆分中文和英文名称。df[‘公司名称’]是一个pandas系列，有点像Excel或Power Query中的列。df[‘公司名称’].str是列中的字符串值，这意味着我们可以直接对其使用字符串方法。通过这种方式进行操作，我们不会一行一行地循环遍历。

图2

数据框架中的日期时间操作

为便于演示，我们使用下面网站中的数据：

http://fund.eastmoney.com/company/default.html

图3

我们要计算基金公司成立的年数，可以使用“成立时间”列来推导这个公式。首先，我们需要知道该列中存储的数据类型，这可以通过检查列中的第一项来找到答案。

图4

很明显，该列包含的是字符串数据。

将该列转换为datetime对象，这是Python中日期和时间的标准数据类型。记住，我们永远不应该循环每一行来执行计算。pandas实际上提供了一种将字符串值转换为datetime数据类型的便捷方法。

df['成立时间'] =pd.to_datetime(df['成立时间'])

一旦列为datetime数据类型，计算持续时间就变得很容易了。我们将导入datetime库来处理日期和时间。

import datetime

today = datetime.datetime.today()

days = today - df['成立时间']

df['成立年数'] =days.dt.days / 365

其中，days是一个pandas系列，包含从“成立时间”到今天的天数。如果检查其类型，它会显示timedelta:

图5

timedelta是datetime的一个子类。与我们刚才看到的.str类似，pandas还有一个.dt返回datetime对象的列。因此，days.dt.days只是从timedelta对象返回天数的整数值。然后，将这些数字除以365，我们得到一列年数。

处理数据框架中NAN或Null值

当单元格为空时，pandas将自动为其指定NAN值。我们需要首先考虑这些值，因为在大多数情况下，pandas不知道如何处理它们。我们可以使用.fillna()方法将NAN值替换为我们想要的任何值。出于演示目的，这里只是将NAN值替换为字符串值“0”。

图6

数据类型转换 & 数据框架上的简单算术运算

最后，我们将使用“成年年份”列来计算公司的年龄。

df['成立年份'] = df['成立时间'].str.split("-",expand=True)[0]

无需检查数据类型，我们知道这个新创建的列包含字符串数据，因为.split()方法将返回一个字符串。注意，必须先把字符串转换成数字。由于今年是2021年，我们将用它来估算公司的年龄，从2021年减去每个“成立年份”。

df['成立年份'] = df['成立年份'].astype(int)

df['公司年龄'] = 2021 -df['成立年份']

图7