我正在尝试使用pandas将非常大的csv文件合并在一起，并不断耗尽内存。有没有更有效利用内存的方法呢？

import pandas as pd

chunksize = 100000  # 每次读取的行数
result = pd.DataFrame()  # 存储合并后的结果

for chunk in pd.read_csv('large_file.csv', chunksize=chunksize):
    # 处理每个小块的数据
    # ...

    # 将处理后的数据合并到结果中
    result = pd.concat([result, chunk])

# 处理完所有小块后，result中存储的就是合并后的数据

import dask.dataframe as dd

df = dd.read_csv('large_file.csv')
# 进行各种操作，如筛选、合并等
# ...

result = df.compute()  # 将结果加载到内存中

import pandas as pd
from sqlalchemy import create_engine

# 将CSV文件导入到数据库中
engine = create_engine('sqlite:///data.db')
chunksize = 100000  # 每次读取的行数

for chunk in pd.read_csv('large_file.csv', chunksize=chunksize):
    chunk.to_sql('data', engine, if_exists='append')

# 使用SQL查询语句进行数据合并和处理
result = pd.read_sql_query('SELECT * FROM data', engine)