Spark SQL取4个连续的时间间隔

文章/答案/技术大牛

发布

1回答

apache-spark、apache-spark-sql

这是我的桌子： +--------+----+----------+----++--------+----+----------+--Napoli | 2.0|2018-12-03| 5|+--------+----+----------+----+ 我想坐记录在案的车站连续4个小时(显然是在同一天连续4个小时)。例如，仅显示罗马，因为同一天有连续4个小时(2018-1

浏览 58提问于2019-03-21得票数 0

1回答

如何使用SparkR将MySQL数据库连接到Apache Spark？

mysql、r、apache-spark、sparkr

我正在开发Spark2.0和SparkR库。我想获得一个关于如何在SparkR中做以下事情的示例代码？我知道使用R来做这件事，但是我需要一些帮助来使用Spark Sessions或SparkSQL context。此外，我们如何将这个R代码作为Spark批处理提交，以便以固定的时间间隔

浏览 4提问于2016-08-21得票数 0

1回答

Spark Streaming中的Processed与RDD

apache-spark、spark-streaming、rdd

我在中看到了几个答案(例如)，因此建议批处理中的记录将成为单个RDD。我对此表示怀疑，因为假设一个batchInterval是1分钟，那么一个RDD将包含最后一分钟的所有数据？注意:我不是直接比较batch和RDD，而是比较Spark内部处理的batch。

浏览 0提问于2017-04-26得票数 0

2回答

SQL GROUP BY:连续的时间间隔？

mysql、sql、gaps-and-islands

| 5 || 3 | 3 || 6 | 4 |-------------将会返回| SUM(Area) || 10 |------------- 其中连续性中断出现在oID处，或者更确切地说，是表示oID 4的条目的缺失。这样的功能是否存在于Sql

浏览 3提问于2012-03-20得票数 6

回答已采纳

3回答

火花:执行器心跳超时

apache-spark、pyspark、azure-databricks

我正在一个数据库集群中工作，该集群具有内存的240GB和64个核心。这是我定义的设置。import pysparkfrom pyspark.sql.types import *from pyspark.sql import SQLContextfrom pyspark.

浏览 8提问于2020-03-31得票数 2

1回答

Spark streaming 2.4.0获取org.apache.spark.sql.AnalysisException:找不到数据源: kafka

scala、apache-spark、apache-kafka

Exception in thread "main" org.apache.spark.sql.AnalysisException: Failed to find data source: kafka." %% "spark-sql" % "2.4.0", "org.apache.spark" %% "spark-sql-kafka-0-10" %

浏览 1提问于2020-12-07得票数 0

1回答

获取存储在带有火花的JSON中的值列表的统计属性

hadoop、apache-spark、hive、apache-zeppelin

.,36.0951]}import org.apache.spark.sql.SparkSessionval spark = SparkSession.bui

浏览 1提问于2017-04-09得票数 0

回答已采纳

2回答

无法使用火花连续流处理数据

apache-spark、pyspark、apache-kafka、spark-structured-streaming

我正在开发一个实时流应用程序，该应用程序可以从Kafka broker中轮询数据，并且我正在调整以前默认使用Spark结构化流的代码(带有微批处理)。但是，我不知道如何使用连续流而不是微批量流来获得类似的行为。这是一段可以工作的代码： .foreachBatch(foreach_batch_func) \这就是我到目前为止对连续流的尝试org.apache.spark.

浏览 1提问于2020-09-29得票数 5

1回答

spark tables是否像RDBMS那样永久存储数据，并且数据始终可用？

apache-spark、apache-spark-sql、databricks

我是Spark的新手，正在尝试了解它的功能。基本上我来自数据库背景，对Spark数据库和表感到困惑。所以我的困惑是，spark是否也会像RDBMS或其他非sql存储那样永久地存储数据，并使其始终可用？或者，它只是为传入数据创建一个参考点，直到处理的持续时间，一旦处理结束，数据就会停止。所以基本上，spark是如何被利用的，我们必须定期、批量或连续地处理数据。spark</e

浏览 0提问于2018-08-08得票数 0

1回答

Spark Structured groupby窗口-我希望第一个间隔从第一个时间戳开始

apache-spark、pyspark、spark-structured-streaming

从一个在Spark 2.31 (HDP 3.0)上使用窗口聚合的简单完整示例中，我可以看到Spark创建的间隔与某个整数对齐。例如，这里我指定60秒windowDuration，而Spark在最近的分钟开始第一个时间间隔： >>> from pyspark.sql import functions as F >>> df =spark.createDataFram

浏览 13提问于2019-04-10得票数 1

回答已采纳

1回答

如何使用节点/电子桌面应用程序从API拉取新数据？

javascript、node.js、api、electron、shopify

我正在为我的Shopify商店创建一个私人桌面应用程序，我想知道从他们的API中连续拉取新订单数据的最好方法是什么？当应用程序打开时，我是否按设定的时间间隔查询API以获取新订单？

浏览 1提问于2020-10-30得票数 0

1回答

如果自前一个检查点创建以来没有任何更改，如何调用DeltaLog检查点()？

scala、apache-spark、delta-lake

有人能帮我解释一下德尔塔罗格检查站是怎么工作的吗？我面临一个问题，即我试图在固定的时间间隔内创建常规检查点，但如果自上次创建检查点以来对delta表没有任何更改，我将得到以下错误：java.lang.IllegalStateExceptionat org.apache.spark.sql.delta.Checkpoints$.writeCheckpoint(Checkpoints.scala:328) at org.apache.

浏览 3提问于2021-08-05得票数 1

回答已采纳

4回答

在结构化流中找不到连续触发器

apache-spark、spark-structured-streaming

运行时: Spark 2.3.0，Scala2.11 (Databricks 4.1ML beta)importcheckpointLocation",...).outputMode(OutputMode.Append)抛出错误未找到:值连续其他不起作用的尝试： .trigger(continuous = "30 sec

浏览 0提问于2018-06-20得票数 6

回答已采纳

1回答

如何计算包含相同值的间隔(行集)的开始/结束？

apache-spark、pyspark、apache-spark-sql、pyspark-sql

假设我们有一个如下所示的spark DataFrame (由time订购)：| time | value || 1 | AA || 4 | B || 6 | A |我想计算每个连续值序列的开始/结束时间。1 | 3 || A

浏览 9提问于2019-07-17得票数 0

1回答

收集星火作业运行统计数据并保存到数据库的最佳方法是什么？

apache-spark、apache-spark-sql

我的Spark程序有几个表联接(使用SPARKSQL)，我想收集处理每个连接并保存到一个统计表所需的时间。其目的是在一段时间内连续运行它，并在非常细粒度的级别上收集性能。e.gVal DF2 =spark.sql(“从TABLE1，TABLE2选择k，v ") 最后，我加入了DF1和DF2，然后启动了一个类似sa

浏览 1提问于2018-04-26得票数 2

回答已采纳

3回答

如何在Scala中读取列中的行

scala、apache-spark、rows

我正在做一个将学生数据转换为时间间隔的小项目。程序只是读取数据，并从标记列中选择标记(整数)，以便在按升序对它们进行排序后将它们转换为间隔。任何人都可以在这一部分帮助我，非常感谢：import org.apache.spark.sql.functions._ case("mark") as "marks",count("*&q

浏览 20提问于2017-07-17得票数 1

回答已采纳

2回答

spark流中奇怪的延迟

scala、apache-spark、streaming、apache-kafka、spark-streaming

我最近一直在使用spark streaming来处理kafka中的数据。大多数情况下，数据处理在1-5秒内完成。然而，在几个批次之后，它连续花费了41 ~ 45秒，并且大部分延迟发生在从stage0获取数据的区域。我意外地发现Kafka的request.timemout.ms默认设置为40秒，并将此设置更改为10秒。实际处理时间

浏览 2提问于2017-01-18得票数 4

1回答

如何在本地正确设置UNIX_TIMESTAMP？

mysql、sql、unix-timestamp

我有一个表，它有一个名为date_time的列。它包含了一个unix的时间号。---+------------+这里还有我的查询week' END) as `range`WHERE 1; 上面对本地的</

浏览 0提问于2016-05-29得票数 1

1回答

Google speech to text时间戳是连续的，但口语单词之间存在间隙

python、google-speech-to-text-api

我使用谷歌的语音转文本来转录音频，其中我已经启用了时间戳，直到那时才是问题。我的问题是时间戳是连续的，根据谷歌给出的时间戳(秒和纳秒)，单词之间没有间隔，但我提供的音频在单词之间有明显的间隔。有没有可能，我们可以让时间戳准确地说明语音中单词的确切时间。我试图计算单词之间的间距，也会计算单词之间的静音。我需要

浏览 19提问于2020-06-16得票数 0

1回答

如何识别间隙小于X秒的连续次数

sql、sql-server、sql-server-2008

我有一套时间戳(SQL 2012)，其类型为I或O(输入或输出)，如下所示：我需要将"status“列设置为不活动，使之成为相同类型(输入或输出)之间间隔小于120秒的连续时间。连续组中的第一个时间戳将不会获得任何状态。我有大约80000个记录，我必须分析和设置条件匹配的非活动标志。这应该在存储过程中完成。这里是可用于测试的更新脚本。

浏览 3提问于2014-04-28得票数 2

回答已采纳

点击加载更多