使用pandas统计数据帧中的标记化字数( python)

import pandas as pd
import re

data = {'文本': ['这是一段示例文本。', '这是另一段示例文本。', '这是最后一段示例文本。']}
df = pd.DataFrame(data)

def count_tokens(text):
    tokens = re.findall(r'\w+', text)  # 使用正则表达式提取单词
    return len(tokens)

df['标记化字数'] = df['文本'].apply(count_tokens)

print(df)

                文本  标记化字数
0    这是一段示例文本。       4
1  这是另一段示例文本。       4
2  这是最后一段示例文本。       5