假设我有一个数据框我想要的记录只在1到1:10之间的时间，无论日期和
时间在unix_timestamp中表示为&q
浏览 19提问于2016-08-08得票数 0
回答已采纳
我有一个13M行的pyspark数据帧，我想把它转换成pandas数据帧。然后，将根据其他参数以不同的频率(例如1秒、1分钟、10分钟)对数据帧进行重新采样以进行进一步分析。从文献[，]中，我发现使用以下任何一行都可以加快pyspark到pandas数据帧之间的转换：
spark.conf.s
浏览 11提问于2021-11-19得票数 0
1回答
我是一名Spark新手，正在尝试使用pyspark (Spark 2.2)在非常广泛的特征集(大约1300万行，15000列)上执行过滤和聚合操作。要素集作为地块文件存储在S3驱动器上。我正在运行一个测试脚本来加载数据帧中的特征集，选择几千条记录，按特定的区域代码分组，并对15k个特征集进行平均。问题是作业要么出错，要么耗时太长(对于5%的记录样
浏览 0提问于2018-10-22得票数 3
我希望按时间间隔(1秒、1Min、10 Min、1小时、2小时)过滤SQL数据库数据，我希望在开始日期和结束日期之间从"ProDataTable“中提取数据，间隔为(1 sec，1 Min，10 Min📷
为了从数据库中获取数据，我使用以下查询。* from ProDataTable Where Date_Time between '2017-11-17 19
浏览 0提问于2017-11-20得票数 1
我需要查询一个包含时间序列记录的表，并过滤结果以每n秒返回一次读取。但是，我不想返回数百万条记录，然后每小时或每30<
浏览 7提问于2015-07-18得票数 1
回答已采纳
2回答
使用java中的帧的时间
、、、
我必须以hh:mm:ss:ff格式存储时间，即小时、分钟、秒和帧，其中每秒有25帧。
哪种数据类型适合，或者我应该为小时、分钟、秒、帧创建单独的列？
浏览 1提问于2013-09-05得票数 0
1回答
我们有一个叫Weather的科学实验，它记录有关天气的一般信息，其中之一就是每分钟记录一次humidity。比方说10个小时后，您将存储600个数据库值。Weather.objects.filter().exclude(time__lt = commence).exclude(time__gt = cease)
这将为Weather表创建一个介于commence和cease时间之间的过滤器。假设时间
浏览 0提问于2009-11-17得票数 1
回答已采纳
我使用sqlite每5分钟将数据记录到一个列中，该列的时间戳是Unix时间的整数。用户界面使用php代码来提取各种用户可选时间帧中的数据，然后使用javascript绘制这些数据。图表通常有12个数据/时间点，我需要提取数据来绘制不同的时间段，比如1小时/12小时/24小时
浏览 0提问于2011-09-27得票数 0
1回答
TCP套接字数据消耗
、、、
我每5秒从我的TCP套接字向我的服务器发送数据。在这种发送消息的速率下，一小时内会消耗多少数据。
每次打开套接字时，数据都会从客户端传输到服务器。我在客户端使用的是3G GSM调制解调器。我的消息是，ID1$Socket$Open$timestamp。全部都是字符串
浏览 5提问于2015-04-01得票数 1
我有一个包含两列的spark数据帧，'keyCol‘列和'valCol’列。数据帧的大小非常巨大，接近1亿行。我想以小批量的方式向kafka主题写入/产生数据帧，即每分钟10000条记录。此spark作业将每天运行一次，从而创建此数据帧 如何在下面的代码中实现每<
浏览 10提问于2020-04-27得票数 1
我是Spark和mapreduce的新手。我想寻求帮助，有没有什么优雅的方法可以这样做呢？因为我有一个数据帧A，那么我希望有一个数据帧R，它的记录通过特定的键在数据帧A和新的数据帧B之间合并，条件类似于A的record.createdTim
浏览 4提问于2019-11-04得票数 0
1回答
我们目前每3秒将测量数据记录到Firebase数据库。但是我想要绘制不同时期的数据，有时是5分钟，在这种情况下，3秒的分辨率是可以的( ~100点)。然而，如果我想看看它在3秒分辨率下12小时内的变化，我会得到14,400点。对于较长的时间段，我想放弃分辨率以减少数据点。由于我们使用的是Firebase，所以没
浏览 2提问于2016-07-25得票数 0
1回答
我有一个日期列，它通常包含数据+小时+分钟。有时候只是个约会。我想在where子句中设置一个条件，只在记录有数据、小时和分钟时才提取记录。我怎么能这么做？
浏览 6提问于2022-06-29得票数 0
1回答
使用Spark流的红移
、、、
我有一个Kafka - Spark流应用程序，可以每分钟摄取和处理60K个事件。我需要一个数据库来存储我转换后的数据帧，以供可视化层访问。Redshift可以与Spark Streaming一起使用吗?还是应该使用Cassandra？我将在每30秒的spark窗口中处理和存储数据帧。另外，我需要从每个窗口的数据
浏览 0提问于2017-09-28得票数 0
如何在sql server中获得每小时的数据(无论日期是什么)，我知道这可以用datePart(小时，列名)来实现，但具体地说，我需要特定时间间隔的数据，包括分钟而不考虑日期。场景：'TestTable‘包含数据类型为(DateTime)的column - DBTimestamp
我需要从'TestTable‘的所有记录，其中'DBT
浏览 130提问于2018-01-16得票数 1
回答已采纳
我尝试通过从数据帧中选择小时+分钟/60和其他列来创建新的数据帧，如下所示：
val logon11 = logon1.select("User","PC","Year","Month","Day","Hour","Minute",$"Hour"+$"Minute"
浏览 0提问于2017-02-12得票数 2
回答已采纳
我有一个Spark，我希望根据一个特定列的匹配值从它们中选择几个行/记录。我想我可以使用过滤器操作或在映射转换中选择操作来实现这一点。但是，我想针对那些在应用过滤器时没有选择的行/记录更新一个status列。那么，如何知道和更新未被选中的行
浏览 0提问于2018-07-25得票数 1
有人知道spark.read.format("csv")和spark.read.csv之间的区别吗？有些人说"spark.read.csv“是"spark.read.format("csv")”的别名，但我看到了两者之间的区别。我用一个新的difference会话执行了下面的每个命令，这样就没有缓存了。
DF1花了42秒，
浏览 0提问于2019-07-05得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
