我想将Dataframe的多个列合并为一个,包含这些列的数组。
这方面的简单示例:
sn | a | b | c |
---+-----+-----+-----+
a1 | 1 | 1 | None|
至
sn | a | b | c | array |
---+-----+-----+-----+-----------+
a1 | 1 | 1 | None| [1,1,None]|
我之所以这样做,是因为我使用Pandas (和SQL-Alchemy)来解析我的数据,并使用Dataframe.to_sql将数据帧写入PostgreSQL表。我用
我有一些带有奇怪时间戳的ASCII文件:
DATAH DATE TIME SECONDS NANOSECONDS D
DATA 2012-06-04 23:49:15 1338853755 700000000 0.00855577
DATA 2012-06-04 23:49:15 1338853755 800000000 0.00805482
DATA 2012-06-04 23:49:15 1338853755 900000000 -0.00537284
DATA 2012-06-04 23:49:16
我有一个带有一个列的dataframe,这是一个时间戳。我使用熊猫to_datetime()方法将该列转换为datetime对象。然而,我想要的是count, for each time stamp, the number of timestamps that fall between this timestamp and prior 15 minutes。
例如:如果时间戳为(208,7,6,13,55) 年、月、日、时、分钟格式,那么我想要计算这个时间戳和时间戳之间的时间戳(或数据点)数量(208,7,6,13,40)。
很容易看出需要做什么,但是它涉及反复遍历数据集。我有将近75万个数据
我有一个由3列(时间戳、名称、值)组成的DataFrame。
DF的行按时间戳按升序排序。
给定输入时间戳,该时间戳在DF和目标名称中可能没有相同的匹配(保证在一行上)。
我想找到行的索引,其中:
行中的时间戳要么等于输入时间戳,要么比输入时间戳少,行的名称等于给定的名称。
此外,时间戳中的时间戳都是唯一的。
给定以下DataFrame:
row timestamp name value
0 1 A V1
1 3 B V2
2 5 C V3
3 7
我正在使用Pandas0.8查询底层的PostgreSQL数据库。Pandas正确地返回了对象,但是我的数据库中的底层时间戳列在Pandas中作为一个通用的“DataFrame”类型返回。因为我最终想要对我的数据进行季节性标准化,我很好奇如何将这个通用的“对象”列转换为适合分析的列。
下面是我检索数据的当前代码:
# get timestamp with time zone Pandas example
import pandas.io.sql as psql
import psycopg2
# define query
QRY = """
select
对不起,如果这个问题以前已经得到了回答,但是我在解决这个问题上遇到了麻烦。
我有一个带有列名的2D DataFrame,其中元素包含非空值和空值。我想将2D DataFrame‘夷为平地’为1D系列,在这里我只保留非空数据作为序列单元格中的一个列表与相应的标题。
ie:以下内容:
从(pandas.Dataframe类型)开始:
| asset | name | id |
---------------------
| a | john | 001|
| a | NaN | 002|
| NaN | dave | 003|
To (类型为pandas.Series):
|
我有一个Pandas DataFrame,其中包含一个date列。该列的元素类型为pandas.tslib.Timestamp。
我想按日期对数据进行分组,但不包括更细粒度的时间戳信息(即。按日期分组,其中所有Feb 23, 2011都分组)。我知道如何用SQL来表达这一点,但是对于Pandas来说,这是非常新的。
做了非常类似的事情,但是我不理解代码,它使用datetime对象。
在中,我甚至不知道如何从Pandas时间戳对象中检索日期。我可以转换为datetime对象,但这似乎非常迂回。
根据请求,df.head()的输出
date show network time
我有一个带有时间戳列的数据帧(datetime64)。我有一个需要转换为空格的虚拟值1900-01-01 00:00:00。当我这样做并将df推送到teradata时,它抛出了一个无效的时间戳错误: #Replacing 4 timestamp columns having dummy value with blank spaces
df[ts_cols[dt]]=df[ts_cols[dt]].astype(str).str.strip().replace('1900-01-01 00:00:00','')
# Converting other null c
我正在尝试使用Pandas来计算经过的业务秒数。我在一个Pandas数据帧中有一个列,它在NY时区有一堆时间戳。以下是我到目前为止拥有的代码:
import pandas as pd
import datetime
times = pd.DataFrame([datetime.datetime.now(timezone('America/New_York')),datetime.datetime.now(timezone('America/New_York'))],columns=['timestamp'])
time.sleep(2)
tim
我有一个包含3个序列和一个时间轴的pandas时间序列对象。我想训练一个带有时间窗口的神经网络,因此我需要创建一个由不同移位的重复pandas列组成的矩阵。我可以用pandas.concat手动完成,但这样做需要很长时间,而且灵活性也不高。我现在尝试的是:
# Make 40 columns with the original dataframe first column and
# make 20 columns with the original dataframe second column
param_array = pandas.DataFrame()
for i in range(
我正在尝试使用北极包中的TICKSTORE建立一个tick数据库。当我运行文档中的示例()并以UTC格式编写带有日期时间索引的dataframe时,读回数据将返回带有‘欧洲/柏林’索引的df,这是我pc的本地时区。
有没有办法返回UTC时间戳中的数据?
代码示例:
from arctic import Arctic, TICK_STORE
from datetime import datetime as dt
import pandas as pd
from arctic.date._mktz import mktz
db = Arctic('localhost')
db