python中的timeseries数据存储
python中的timeseries数据存储
提问于 2015-11-09 15:40:31
从2015年2月1日到2015年10月31日，我有一个大约8.5万件产品的亚马逊价格数据。目前，它的形式是一个字典的形式，关键是从基准日期起的天数和价值作为当天开始的新价格。例如，这里的价格从第一天起是10美元，第45天是15美元，然后在173天改变到9美元，之后不会改变。
{1:10,
45:15,
.
.
.
173:9}使用python存储这样的时间序列以便于操作的最佳方法是什么？我想要执行大量的聚合，也将查询一个特定日期的价格。最后，我将执行一些固定的效果回归，并且不知道如何最好地存储这个时隙，这样我的编程工作就变得相对简单了。我可以将273列(每列一天)和与8.5k产品相对应的行存储为表。我一直在看熊猫模块，它能帮我做到这一点，但是有更好的方法吗？谢谢!
回答 2
Stack Overflow用户
回答已采纳
发布于 2015-11-09 15:50:40
你可以使用一小块数据，并将其转换为熊猫数据，也可以使用numpy进行计算。您的第一个键将是产品，内部裁剪将是您已经拥有的，但它不会以您建议的格式打印，但您所需要做的只是转接它，以便为一个快速的例子。
import pandas as pd
d = {'Product1': {1:10, 45:15, 173:9}, 'Product2': {1:11, 100:50, 173:10}}
df = pd.DataFrame(d).T
print df
1 45 100 173
Product1 10 15 NaN 9
Product2 11 NaN 50 10Stack Overflow用户
发布于 2015-11-09 19:05:56
8.5k产品和270+日我建议这样做，
price_dic = {1: 10, 2: 11, 3: 12, 5: 15}
df = pd.DataFrame({'days': pd.Series(price_dic.keys(),index=range(len(price_dic))),'price': pd.Series(price_dic.values(),index=range(len(price_dic)))})
df['prod_name'] = "Knote"
df
Out[80]:
days price prod_name
0 1 10 Knote
1 2 11 Knote
2 3 12 Knote
3 5 15 Knote
df['Date'] = pd.to_datetime("Feb. 1, 2015") + pd.to_timedelta(df.days,'D')
df
Out[82]:
days price prod_name Date
0 1 10 Knote 2015-02-02
1 2 11 Knote 2015-02-03
2 3 12 Knote 2015-02-04
3 5 15 Knote 2015-02-06更新：
浏览列表并获得包含所有内容的最终数据
假设你有如下的产品清单，价目表和开始日期表，我们可以这样做，
product_list = [1001,1002,1003]
y_dict = [{1: 10, 2: 11, 3: 12, 5: 15},
{1: 10, 3: 11, 6: 12, 8: 15},
{1: 90, 2: 100, 7: 120, 9: 100}]
start_dt_list = ['Feb 05 2015','Feb 01 2015','Feb 06 2015']
fdf = pd.DataFrame(columns =['P_ID','Date','Price','Days'])
Out[73]:
Empty DataFrame
Columns: [P_ID, Date, Price, Days]
Index: []
for pid,j ,st_dt in zip(product_list, y_dict,start_dt_list):
df = pd.DataFrame({'P_ID' : pd.Series([pid]*len(j)) ,
'Date' : pd.Series([pd.to_datetime(st_dt)]*len(j)),
'Price': pd.Series(j.values(),index=range(len(j))),
'Days': pd.Series(j.keys(),index=range(len(j)))
})
fdf = fdf.append(df,ignore_index=True)
fdf.head(2)
Out[75]:
Date Days P_ID Price
0 2015-02-05 1 1001 10
1 2015-02-05 2 1001 11
fdf['Date'] = fdf['Date'] + pd.to_timedelta(fdf.Days,'D')
fdf
Out[77]:
Date Days P_ID Price
0 2015-02-06 1 1001 10
1 2015-02-07 2 1001 11
2 2015-02-08 3 1001 12
3 2015-02-10 5 1001 15
4 2015-02-09 8 1002 15
5 2015-02-02 1 1002 10
6 2015-02-04 3 1002 11
7 2015-02-07 6 1002 12
8 2015-02-07 1 1003 90
9 2015-02-08 2 1003 100
10 2015-02-15 9 1003 100
11 2015-02-13 7 1003 120页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/33612734
复制相关文章
相似问题
腾讯云开发者
