Pandas dataframe:按日期汇总行，每天只保留一行，不带时间戳
Pandas是一个开源的数据分析和数据处理工具，它提供了强大的数据结构和数据分析功能，特别适用于处理结构化数据。其中的DataFrame是Pandas中最常用的数据结构之一，类似于Excel中的表格，可以存储和处理二维数据。
按日期汇总行，每天只保留一行，不带时间戳的需求可以通过以下步骤实现：
- 首先，确保日期列的数据类型为日期类型。如果不是日期类型，可以使用
pd.to_datetime()函数将其转换为日期类型。
df['日期列'] = pd.to_datetime(df['日期列'])- 然后，使用
groupby()函数按日期进行分组，并选择需要保留的列。
df_grouped = df.groupby(df['日期列'].dt.date).first()上述代码中，df['日期列'].dt.date将日期列转换为日期格式，然后使用groupby()函数按日期进行分组。first()函数选择每组中的第一行作为保留的行。
- 最后，如果需要，可以重置索引。
df_grouped = df_grouped.reset_index()这样，按日期汇总行，每天只保留一行，不带时间戳的需求就可以得到满足。
Pandas官方文档：https://pandas.pydata.org/
腾讯云相关产品推荐：腾讯云提供了云数据库 TencentDB，可以用于存储和管理结构化数据。您可以使用腾讯云数据库来存储和处理Pandas DataFrame中的数据。
腾讯云数据库 TencentDB产品介绍：https://cloud.tencent.com/product/cdb
相关·内容
我有一个数据表，它将日期记录为年-月-日，小时:分钟:秒，如下所示。
2011-10-20 10:48:41, 2011-10-20 10:51:37, 2011-11-20 11:01:46 , 2011-11-20 11:16:03 ,2011-11-20 12:02:33
每个时间戳都与一个特定的项目相关联。我正在尝试计算每天的项目数量，但当我尝试按该日期进行分组时，它会给出一个所有项目的列表，因为时间戳是如此具体。有没有办法减少时间戳，让它只看2011-10-20 vs 2011-10-20 10:48:41。
我尝试了几次，使用between函数选择时间戳或在分组函数中使用，但都没有
浏览 0提问于2011-11-23得票数 1
2回答
我有大量的数据。 它包含10年的日期变量(大约3650天)，每天有超过10,000次观测。 因此，总行数为36,500,000。 我的目标是将多个(大约3650个)子数据帧按日期分组，并将其放入单个列表中。 我使用的方式是for-loop，这需要花费很多时间。 实际上，在我的电脑规格下，完成这项工作需要大约1个小时。 我想找到创建多个子数据帧的最佳(最快)方法，并将其放入列表中。 我的代码和简单示例如下所示。 感谢您的阅读。 import pandas as pd
import pandas as pd
import numpy as np
df = pd.DataFrame({
浏览 21提问于2020-07-17得票数 0
回答已采纳
我有一个pandas DataFrame，它有两个列date和value (3k不同的日期，800 k的总行)
我想计算按日期分组的平均值，但只计算底部十分位数中的值。
我尝试过使用DCL = df['date','value'].groupby(['date'])['value'].quantile(.1)，它给出了底层十进制的cutoff值，对于每个日期，如何才能为每个日期创建一个条件平均值，以便它只使用低于DCL (每个日期)的值？
DCL = df['date','value'].group
浏览 10提问于2017-04-17得票数 0
回答已采纳
1回答
我有一个通过pandas.DataFrame.from_csv读取的csv文件。
我想要过滤那些包含某个月份的第三个星期五或日期索引中或其中一列中的任何月份的行。
我尝试了一下dateutil和pandas.datetools.WeekOfMonth(week=2,weekday=4)，但还是想不通。
浏览 1提问于2014-02-06得票数 0
我刚刚学会了如何将一个带有datetime索引的Pandas DataFrame按日期分组。如何统计groupby每天返回的特定值('Passed‘或'Failed')的数量？
我的目标是计算每日收益率: goal = passed_count/(passed_count + failed_count)。
import pandas as pd
import random
data = [random.choice(['Passed','Failed']) for i in range(100)]
times = pd.date_ran
浏览 0提问于2018-10-02得票数 0
1回答
熊猫数据索引的修改
、、、、
我试图编写一个高效的函数，它将使用一个平均大小的dataframe (~5000行)，并返回一个带有最新年份(以及相同索引)列的数据，这样对于原始数据的每个日期索引，包含该日期的月份介于一些预先指定的开始日期(st_d)和结束日期(end_d)之间。我编写了一段代码，在该代码中，某个特定日期索引的年份将减少，直到该月份处于所需的范围内。然而，它确实是缓慢的。对于只有366个条目的dataframe，它需要~0.2s。我需要使它至少一个数量级的速度，以便我可以重复应用到数万个数据文件。我非常感谢对此提出任何建议。
import pandas as pd
import numpy as np
im
浏览 3提问于2020-01-02得票数 1
回答已采纳
我正在使用一个具有数百万行和100+列的Oracle数据库。我尝试使用带有索引的pytables将此数据存储在HDF5文件中。我将在pandas DataFrame中读取这些数据的子集并执行计算。
我尝试了以下几种方法：
使用实用程序将表下载到csv文件中，使用pandas逐块读取csv文件块，并使用pandas.HDFStore附加到HDF5表。我创建了一个dtype定义并提供了最大字符串大小。
但是，现在当我尝试直接从Oracle DB下载数据并通过pandas.HDFStore将其发布到HDF5文件时，我遇到了一些问题。
pandas.io.sql.read_frame不支持分块读取。我
浏览 2提问于2013-12-17得票数 12
我想找到一些数据的应用程序，允许使用Apache Lucene语法进行搜索查询。我按日期搜索数据，并希望从具体日期-具体日期查找数据。我该怎么做呢？
查询：
date: [2010-10-4 TO 2010-10-4]
或
date: 2010-10-4
不起作用。
浏览 0提问于2012-10-25得票数 1
回答已采纳
我有一个日期和值的DataFrame (在下面的代码中，我可能没有正确地解析日期)。
import pandas as pd
d = {'date': pd.Series(['2010-01-01', '2011-01-01',
'2012-01-01', '2012-07-01',
'2013-01-01']),
'value': pd.Series([0, 2, 1, 4,
浏览 3提问于2017-07-28得票数 2
回答已采纳
我有一个包含时间戳的列的DataFrame，我想在Python语言中将该列转换为日期时间，并保存包含日期和时间的列的文件。代码如下：
import pandas as pd
df = pd.DataFrame({
"time": [1465585763000, 1465586363000, 1465586963000,
1465587563000, 1465588163000]})
df
浏览 30提问于2020-05-29得票数 1
回答已采纳
我在Dash中有一个pandas dataframe，它在返回到html.Div()之前使用下面的函数转换成HTML - def generate_table(dataframe, max_rows=10):
return html.Table(
# Header
[html.Tr([html.Th(col) for col in dataframe.columns])] +
# Body
[html.Tr([
html.Td(dataframe.iloc[i][col]) for col in
浏览 49提问于2020-10-04得票数 0
回答已采纳
在Pandas中，我有一个观察值(婴儿奶瓶饲养量)的DataFrame，按日期时间索引并按日期分组：
...
bottles = bottles.set_index('datetime')
bottles = bottles.groupby(bottles.index.date)
我想使用matplotlib绘制每天增加的累积值--也就是说，显示每天增加并在午夜重置的饲料量：
ax = plt.gca()
ax.xaxis.set_major_locator(mdates.DayLocator())
ax.xaxis.set_minor_locator(mdates.HourL
浏览 0提问于2016-05-31得票数 3
我的dataframe有一个列，其中包含日期，如
+-----+---------------------+
| Nr | Date |
+-----+---------------------+
| 146 | 2011-03-11 00:00:00 |
| 654 | 2014-05-16 00:00:00 |
| 312 | 2020-12-01 00:00:00 |
| 675 | 9999-12-31 00:00:00 |
+-----+---------------------+
现在，我希望将它们(当前类型对象)转换为dataframe中的类型da
浏览 0提问于2018-02-12得票数 0
回答已采纳
1回答
我有两个Pandas DataFrames，需要合并才能获得一组员工的完整历史记录。
这两个框架都包含employee ID和用于数据有效时的时间戳。但是，一个表中的时间戳有时会有点“迟”，这意味着第二个dataframe具有时间戳的时间戳是在第一个dataframe中的时间戳上或之后。
示例数据
import pandas as pd
df = pd.DataFrame(
{'ID': [1000, 1000, 1002, 1003, 1004],
'Start Date': [
pd.Timestamp(&#
浏览 1提问于2021-09-21得票数 1
3回答
我刚刚开始使用Pandas，并且正在尝试合并:按日期分组数据，并计算每个组中的唯一值。
以下是我的数据：
User, Type
Datetime
2014-04-15 11:00:00, A, New
2014-04-15 12:00:00, B, Returning
2014-04-15 13:00:00, C, New
2014-04-20 14:00:00, D, New
2014-04-20 15:00:00, B, Returning
2014-04-20 16:00:00, B, Returning
2014-04-20 17:00:00, D,
浏览 0提问于2014-04-22得票数 7
回答已采纳
1回答
我有一个带有日期时间索引的dataframe，使用列计算，我希望获得每行每天4:00 (或16:00)之前的剩余分钟数。
使用来自的答案，我们可以创建一个空的日期时间为随机的数据，并将其分配给索引：
def random_datetimes_or_dates(start, end, out_format='datetime', n=10):
(divide_by, unit) = (10**9, 's') if out_format=='datetime' else (24*60*60*10**9, 'D')
s
浏览 4提问于2021-12-28得票数 3
回答已采纳
1回答
我在一个数据框中有两列，分别是date和name。在每天的基础上，我想统计每天输入和删除的记录数量。
import numpy as np
import pandas as pd
df1 = pd.DataFrame({'Name': ['A', 'B', 'C', 'D','E']})
df1['Date'] = '2016-01-01'
df2 = pd.DataFrame({'Name': ['C', 'D',&#
浏览 1提问于2016-10-06得票数 0
1回答
很简单的熊猫问题，我是个初学者。
我有一个dataframe 'df‘(例如)：
import pandas as pd
df = pd.DataFrame({'time': ['2019-04-23 10:21:00', '2019-04-23 11:14:00', '2019-04-24 11:30'],
'category': ['A', 'B', 'A'],
'tex
浏览 1提问于2020-04-26得票数 0
回答已采纳
Pandas DataFrame包含名为"date"的列，该列包含非唯一的datetime值。我可以使用以下命令对此帧中的线条进行分组：
data.groupby(data['date'])
但是，这将按datetime值拆分数据。我想按“日期”列中存储的年份对这些数据进行分组。展示了如何在将时间戳用作索引的情况下按年分组，但在我的例子中并非如此。
如何实现此分组？
浏览 1提问于2012-07-09得票数 94
回答已采纳
1回答
我有一个由日期时间条目组成的Pandas系列。例如
timestamps = [datetime.datetime(2020, 7, 25, 22, 00), datetime.datetime(2020, 7, 25, 23, 55), datetime.datetime(2020, 7, 26, 7, 7), datetime.datetime(2020, 7, 26, 7, 30), datetime.datetime(2020, 7, 26, 12, 22)]
df = pd.Series(timestamps)
使用df.dt.normalize().value_counts()，我
浏览 6提问于2020-07-27得票数 1
回答已采纳
12回答
我使用pandas.to_datetime来解析数据中的日期。默认情况下，Pandas使用datetime64[ns]表示日期，即使日期都是每天。我想知道是否有一种优雅/聪明的方法将日期转换为datetime.date或datetime64[D]，这样，当我将数据写入CSV时，日期不会附加00:00:00。我知道我可以逐个元素地手动转换类型：
[dt.to_datetime().date() for dt in df.dates]
但这真的很慢，因为我有很多行，这有点违背了使用pandas.to_datetime的目的。有没有办法一次转换整个列的dtype？或者，pandas.to_datet
浏览 0提问于2013-04-24得票数 314
我试图按日期聚合一个Pandas DataFrame，然后按日期对结果进行索引，但我似乎根本无法对其进行索引。
from datetime import date, datetime
import pandas as pd
import numpy as np
ts = pd.DataFrame({'data': np.random.randn(60)}, index=pd.date_range('1/1/2000', periods=60, freq='2h'))
g = ts.groupby(ts.index.date).agg(np.m
浏览 1提问于2014-04-03得票数 2
回答已采纳
1回答
我有一个pandas dataframe df1，稀疏日期作为索引，有两列。我想生成一个新的数据帧df2，其采样日期(每小时)位于给定的开始日期和结束日期之间，其中包含df1值。 这是df1 df1:
col1 col2
2019-01-01 07:12:00 1 0
2019-01-01 10:25:00 0 1 以下是在2019-01-01上的12:00:00上，一个小时的采样应该是df2开始和00:00:00，以及结束： df2:
col1 col2
2019
浏览 15提问于2019-02-04得票数 1
回答已采纳
有问题的代码 import pandas as pd
df = pd.DataFrame({'datetime': pd.date_range(pd.Timestamp('2020-06-18 09:18:00'),
periods=3,
freq='10ns')})
print(df)
df.loc[1, 'datetime'] = pd.Tim
浏览 35提问于2020-06-20得票数 0
1回答
我有一个Pandas，df1，这是一个长达一年的5分钟的时间序列，列A。
df1.shape
(105121, 26)
df1.index
<class 'pandas.tseries.index.DatetimeIndex'>
[2002-01-02 00:00:00, ..., 2003-01-02 00:00:00]
Length: 105121, Freq: 5T, Timezone: None
我有第二个dataframe，df2，即具有匹配列的长达一年的每日时间序列(在同一时期内)。第二个框架的值是布尔值。
df2.shape
(365, 26)
df2
浏览 2提问于2013-05-15得票数 3
我发现我们可以通过这样做在Pandas DataFrame中创建日期时间列：
>>> dt1 = pandas.DatetimeIndex(["2016-03-04 15:01:49",
"2016-03-05 23:54:22",
"2016-04-03 21:22:08",
"2016-04-03 21:22:08",
浏览 7提问于2016-07-01得票数 0
1回答
我有两个数据
import numpy as np
import pandas as pd
test1 = pd.date_range(start='1/1/2018', end='1/10/2018')
test1 = pd.DataFrame(test1)
test1.rename(columns = {list(test1)[0]: 'time'}, inplace = True)
test2 = pd.date_range(start='1/5/2018', end='1/20/2018')
test
浏览 3提问于2020-07-16得票数 1
回答已采纳
1回答
我目前正在按日期(DD/MM/YY)索引的Pandas DataFrame上做一些练习。目前的做法要求我按年分组，以获得平均年值。因此，我试图创建一个新列，其中只包含从DataFrame索引中提取的年份。我写的代码是：
data["year"] = [t.year for t in data.index]
data.groupby("year").mean()
但出于某种原因，新列“年份”最终取代了以前的全日索引(它甚至没有成为“标准”列，它就会消失)，这让人有点吃惊。这怎么可能呢？
提前感谢！
浏览 0提问于2018-11-02得票数 1
回答已采纳
我有一个订阅的Pandas DataFrame，每个订阅都有一个开始日期时间(时间戳)和一个可选的结束日期时间(如果它们被取消了)。
为简单起见，我基于开始和结束日期时间(时间戳)为日期(例如"20170901")创建了字符串列。它看起来是这样的：
df = pd.DataFrame([('20170511', None), ('20170514', '20170613'), ('20170901', None), ...], columns=["sd", "ed"])
最终结果应该
浏览 0提问于2017-09-15得票数 2
1回答
我有一个大型数据集('df'；~400,000行)，其中包含描述城市特征的日期时间索引。
例如：
df = pd.DataFrame([['2016-01-01 00:00:00','Jacksonville'], ['2016-01-01 01:00:00','Jacksonville'],
['2016-01-01 02:00:00','Jacksonville'], ['2016-01-01 03:00:00','T
浏览 2提问于2019-11-24得票数 0
回答已采纳
当将dataframe列的字符串数据转换为datetime时，我遇到了以下令我印象深刻的问题：
import pandas as pd
mydates = {'a':'2008-04-11','b':'2007-06-14','c':'2001-01-08','d':'2001-07-31'}
myDF = pd.DataFrame.from_dict(mydates,orient='index', columns=['dates'])
浏览 1提问于2020-06-29得票数 2
回答已采纳
1回答
我试图通过id、时间戳来过滤这个数据，而我的第三列是条目之间的时间差。我可以让它显示所有天的每个id的总金额，但不能使它工作，显示每个id每天的总和。
import datetime
import pandas as pd
timestamps = [
datetime.datetime(2018, 1, 1, 10, 0, 0, 0), # person 1
datetime.datetime(2018, 1, 1, 10, 0, 0, 0), # person 2
datetime.datetime(2018, 1, 1, 11, 0, 0, 0), # perso
浏览 2提问于2022-03-05得票数 0
回答已采纳
1回答
我有一个DataFrame (df)，它的列是userid (用户id)、day (日期)。
我感兴趣的是为每个用户计算他/她每天活跃的平均时间间隔。
例如，对于给定的用户，DataFrame可能如下所示
userid day
1 2016-09-18
1 2016-09-20
1 2016-09-25
如果DataFrame是Pandas DataFrame，我可以像这样计算我感兴趣的数量
import numpy as np
np.mean(np.diff(df[df.userid==1]
浏览 4提问于2016-12-10得票数 1
4回答
我有以下数据框架
import pandas as pd
from pandas import Timestamp
df=pd.DataFrame({
'Tech en Innovation Fonds': {0: '63.57', 1: '63.57', 2: '63.57', 3: '63.57', 4: '61.03', 5: '61.03', 6: 61.03}, 'Aandelen Index Fonds': {0: '80.22', 1:
浏览 11提问于2022-07-12得票数 1
回答已采纳
我想按日期范围查询与会者表。现有的系统允许用户每天多次签到或结帐。现在的问题是，如何获得经过过滤的数据，每天我在哪里获得每个用户ID的第一个签入时间戳和最后一个结帐时间戳。
截图如下：
预期结果：
仅供参考，我使用的是PostgreSQL9.6和PgAdmin4
浏览 1提问于2021-02-18得票数 0
如果我正确地读取了Pandas 0.13.1的文档，read_csv应该会在读取期间调用parse_dates = [<col1>,<col2>...]时生成日期时间列。我得到的是时间戳对象的列。即使有了.to_datetime的应用程序，我仍然会使用时间戳对象。我在这里错过了什么？如何读取字符串并将其直接转换为存储在dataframe中的datetime对象？似乎日期时间对象正在被转换为dataframe中的时间戳。
df = read_csv('Beijing_2010_HourlyPM2.5_created20140325.csv',parse_d
浏览 1提问于2014-04-21得票数 2
回答已采纳
我有一个从API (当然是以JSON形式)获得的数据，看起来像这样：
0,1500843600,8872
1,1500807600,18890
2,1500811200,2902
.
.
.
其中第二列是以刻度为单位的日期/时间，第三列是某个值。我基本上拥有一天中每一个小时的数据，几个月来每天的数据。现在，我想要实现的是，我希望获得每周第三列的最小值。我有一个代码段，看起来像这样：
from bs4 import BeautifulSoup
import datetime
import json
import pandas
# Partially removed for brevity.
#
浏览 3提问于2018-01-24得票数 0
回答已采纳
我在Power BI中建立了我公司每日数据的报告。这些数据每天早上都会以excel文件的形式发布到我们公司的服务器上。我会更改构建此文件的脚本，但目前不能这样做。
但是，该文件名中包含每天的日期，因此该文件名每天都会更改。
实际上，我每天早上都会尝试使用excel查询的表达式，将系统日期包含在连接的文件名中。
浏览 20提问于2017-11-13得票数 0
出于这个目的，这是一些虚构的时间序列数据：
import pandas as pd
import numpy as np
from numpy.random import randint
np.random.seed(10) # added for reproductibility
浏览 21提问于2020-02-15得票数 0
回答已采纳
我正在尝试建立一个熊猫时间序列的子集，该序列按一天的时间跨度为多天。例如，我只想要12:00到13:00之间的时间。
我知道如何在特定的日期这样做，例如，
In [44]: type(test)
Out[44]: pandas.core.frame.DataFrame
In [23]: test
Out[23]:
col1
timestamp
2012-01-14 11:59:56+00:00 3
2012-01-14 11:59:57+00:00 3
2012-01-14 11:59:58+00:00 3
201
浏览 1提问于2014-02-07得票数 12
回答已采纳
我注意到，根据熊猫的不同版本，pandas.to_parquet生成的pandas.to_parquet文件中的列类型可能不同。
In [1]: pd.__version__
Out[1]: '1.0.5'
In [2]: pd.DataFrame([pd.Timestamp('2020-01-01')], columns=['a']).to_parq
浏览 3提问于2020-09-24得票数 2
回答已采纳
1回答
我有一个pandas dataframe，它的日期格式为YYYYMMDD，存储为float32。有没有可能以某种方式计算出每天是一周的哪一天？例如：星期一= 1，星期二=2，等等？ 我甚至不知道从何说起。
浏览 18提问于2021-01-12得票数 0
回答已采纳
1回答
JSON格式的日期
、、、
我想写一个(熊猫) DataFrame到一个json文件。但是我的一列是日期，当我从json文件中读取日期时，日期格式是毫秒(？)
from pandas import DataFrame, read_json
from datetime import date
A = {'a': [date(2019,1,1),date(2019,1,2),date(2019,1,2)], 'b': [4,5,6]}
df = DataFrame(A)
print(df)
filename = r'C:\temp\E
浏览 2提问于2019-10-09得票数 1
回答已采纳
我有一些带有奇怪时间戳的ASCII文件：
DATAH DATE TIME SECONDS NANOSECONDS D
DATA 2012-06-04 23:49:15 1338853755 700000000 0.00855577
DATA 2012-06-04 23:49:15 1338853755 800000000 0.00805482
DATA 2012-06-04 23:49:15 1338853755 900000000 -0.00537284
DATA 2012-06-04 23:49:16
浏览 0提问于2014-03-14得票数 2
回答已采纳
如图，用datetime.strptime转化时，还是会自动加上年，有没有单纯是日期，而不带年份的
image.png
浏览 592提问于2019-01-01
2回答
我有一个pandas DataFrame，列= A，B，C，d，行= a，b，c，d。我的数据框中的每个单元格都有一个特定的日期。我想创建一个热图，较晚的日期是不同的颜色比较早的日期。 我设法通过将datetime变量转换为timestamp来做一些事情。但是我想用日期时间(时间戳)注释每个单元格。有没有办法用Plotly做到这一点？
浏览 18提问于2021-03-25得票数 1
回答已采纳
我的团队在2个不同时区的相同数据库上运行相同的查询。查询返回不同的结果。我认为其中一个原因是我使用以下命令将时间戳列转换为日期： to_char(a.event_timestamp，'yyyy-mm-dd'::text) AS "date“ 此转换是否取决于系统的本地日期和时间？我正在测试数据库中以前的数据范围。
浏览 56提问于2020-11-11得票数 0
2回答
我需要更新一个熊猫DataFrame如下。有可能吗？我非常感谢你所有的时间和努力。对不起，我的问题引起了你们的混淆。我试着更新问题。再次感谢
Sample1：
import pandas as pd
#original dataframe
data = {'row_1': ['x','y','x','y'], 'row_2': ['a', 'b', 'a', None]}
data=pd.DataFrame.from_dict(data, or
浏览 10提问于2022-05-05得票数 0
回答已采纳
5回答
我感到困惑的是，熊猫是如何冲出日期时间对象的界限的：
import pandas as pd
BOMoffset = pd.tseries.offsets.MonthBegin()
# here some code sets the all_treatments dataframe and the newrowix, micolix, mocolix counters
all_treatments.iloc[newrowix,micolix] = BOMoffset.rollforward(all_treatments.iloc[i,micolix] + pd.tseries.offsets.
浏览 4提问于2015-10-01得票数 101
回答已采纳
1回答
我有一个以时间戳为索引的pandas数据帧：
我希望将其转换为具有每日值的数据帧，但不必对原始数据帧进行重新采样(对于每小时的数据求和或平均，为否)。理想情况下，我希望以向量的形式获得每天的24个日期值，例如：
有没有什么方法可以快速做到这一点呢？
谢谢!
浏览 6提问于2017-02-08得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
