Pandas:读取带有可变时间戳的大CSV

import pandas as pd

# 读取CSV文件，指定chunksize参数
chunksize = 10000  # 每次读取10000行数据
csv_file = 'path/to/your/csv/file.csv'
reader = pd.read_csv(csv_file, chunksize=chunksize)

# 遍历每个数据块
for chunk in reader:
    # 在这里对数据块进行处理
    # 可以进行数据清洗、转换、计算等操作
    # ...

# 最后可以将处理后的数据合并或保存到其他文件中

# 将时间戳数据转换为DateTime类型
chunk['timestamp'] = pd.to_datetime(chunk['timestamp'])

# 可以使用各种日期时间函数进行操作和计算
chunk['year'] = chunk['timestamp'].dt.year
chunk['month'] = chunk['timestamp'].dt.month
chunk['day'] = chunk['timestamp'].dt.day
# ...

# 可以根据时间戳进行数据筛选和聚合
filtered_data = chunk[chunk['timestamp'] > '2022-01-01']
aggregated_data = chunk.groupby('year')['value'].sum()
# ...

import dask.dataframe as dd

# 使用Dask读取CSV文件
dask_df = dd.read_csv(csv_file)

# 进行并行计算
result = dask_df.groupby('category')['value'].sum().compute()

# 将数据类型转换为更节省内存的类型
chunk['value'] = chunk['value'].astype('float32')

# 使用Pandas的内存优化工具自动优化数据类型
optimized_chunk = chunk.copy()
optimized_chunk = pd.optimize(optimized_chunk)