我有大约140,000,000条记录的数据集,我已经将其存储在数据库中。我需要使用python计算这些数据的基本统计数据,如平均值、最大值、最小值、标准差。但是当我使用类似于"Select * from Mytable order by ID limit %d offset %d“% (chunksize,offset)这样的块时,执行耗时超过一个小时,并且仍然在执行引用
每次车辆离开时,我都在设法找出停车场的占用情况。我有一个数据帧,其中每一行对应一个停车入口和出口时间戳。数据集相当大,我目前处理的解决方案需要一些时间。通过执行以下查询,我能够找到占用率:
Count('Exit Time Stamp of Row n' > 'Entry Date of All Rows' & 'Exit Time Stamp ofRow n'