切分与条件相关的熊猫时间序列
切分与条件相关的熊猫时间序列
提问于 2019-09-10 21:12:58
我需要在条件发生前60分钟对熊猫时间序列进行切片，例如，在'Signal‘== 1列中的数字之前60秒
现在，我在整个数据帧上使用.tail(60)，直到得到所需的索引，但效率非常低
def create_sequences(signal, label, data):
"""Function to return seqs of 60 secs prior to condition"""
sequences = []
for i in signal:
sequence = data.loc[:i].tail(60)
if len(sequence) == 60:
sequences.append((np.array(sequence.drop('Signal',
axis=1)).transpose(), label))
return sequences
# To generate some data for reproduction
periods = 7 * 24 * 60
tidx = pd.date_range('2019-09-01', periods=periods, freq='T')
ts = pd.DataFrame(data=data, index=tidx)
ts['Signal'] = ts[0].apply(lambda x: 1 if x > 0 else 0)
ones = ts[ts.Signal == 1].index.values
x = create_sequences(ones, 1, ts)回答 2
Stack Overflow用户
发布于 2019-09-10 23:11:03
我稍微修改了数据生成脚本，
periods = 7 * 24 * 60
tidx = pandas.date_range('2019-09-01', periods=periods, freq='T')
ts = pandas.DataFrame(index=tidx)
ts['Signal'] = 0并且在第1000行(超过10080行)中引入了'1‘，
ts['Signal'].iloc[1000] = 1首先快速检查时间戳索引是否已排序，
In[1]: ts.index.is_monotonic_increasing
Out[1]: True导入tqdm以测量性能
from tqdm import tqdm有两个选项，因为时间序列的分辨率是1分钟，所以结果在这里是相同的，但您可以根据预期的结果使用其中一个。
1.如果希望得到的切片像滑动窗口一样重叠，可以使用.iterrows()
D = pandas.Timedelta('00:00:60')
sequences = []
for timestamp, row in tqdm(ts.iterrows()):
if ts.loc[timestamp:timestamp + D, 'Signal'].sum() > 0:
break
sequences.append(ts.loc[timestamp:timestamp + D])2.如果希望得到的切片是连续的，而不是重叠的，
D = pandas.Timedelta('00:00:60')
sequences = []
nmax = numpy.trunc((ts.index.max() - ts.index.min()) / D)
for n in range(0, int(nmax)):
if ts.loc[ts.index.min() + (n * D):ts.index.min() + (1 + n) * D, 'Signal'].sum() > 0:
break
sequences.append(ts.loc[ts.index.min() + (n * D):ts.index.min() + (1 + n) * D])这两次执行都不到一秒，但如果您正在寻求更快的性能，您可以检查.itertuples() (参考。https://medium.com/@formigone/stop-using-df-iterrows-2fbc2931b60e)
Stack Overflow用户
发布于 2019-11-22 16:03:31
这是有效的，尽管对于大数据集来说有点慢
sequences = []
for timestamp, row in ts.iterrows():
data = ts.loc[timestamp:timestamp + pd.Timedelta(seconds=60),:]
label = ts.Signal.loc[timestamp + pd.Timedelta(seconds=60)]
sequences.append((ts.drop('Signal', axis=1).values, label))页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/57871595
复制相关文章
相似问题
腾讯云开发者
