spark中的条件计数

文章/答案/技术大牛

发布

1回答

scala、apache-spark、apache-spark-sql

我想要统计用户在会话中访问的页面数量，这里我的问题是用户可以在一天内有多个会话，我有user_id，login_status和时间戳，如下所示。请帮助我如何计算页面在单个会话中没有访问量。提前谢谢。

浏览 15提问于2019-06-11得票数 1

回答已采纳

1回答

Spark SQL中的条件计数

apache-spark、apache-spark-sql

我试着有条件地计算一列，这是我的代码。spark.sql( |SELECT | sea, """.stripMargin).createOrReplaceTempView("something") 这会抛出一个奇怪的错误感谢您<em

浏览 0提问于2020-11-16得票数 0

1回答

如何从pyspark中的spark dataframe中提取特定值？

python、apache-spark、pyspark

我需要使用sql查询从pyspark中提取计数。count在spark dataframe中，我想使用计数值在if条件中使用，但不能提取该值。如何从spark dataframe中提取int值 query = "select count(*) as count from abc where FLAG= 'C' " counter =

浏览 99提问于2021-08-03得票数 0

回答已采纳

2回答

火花数据过滤并选择

scala、apache-spark、apache-spark-sql

我有一个，需要根据条件过滤元素并选择计数。count().alias("cnt")我面临的错误是值选择不是org.apache.spark.sql.Column的成员，也因为某些原因，计数是DatasetRow，有想法在单行中得到

浏览 1提问于2020-04-24得票数 1

1回答

我知道我们可以在Spark SQL中显式地ANALYZE表，这样我们就可以获得一些准确的统计数据。但是，有没有可能在Catalyst中存在一些实用程序，它们不需要显式地扫描整个表，但它可以给我一些粗略的统计数据。我并不关心表的实际大小，我只关心表之间的相对大小。因此，在查询编译过程中，我可以使用这些信息来决定哪个表比其他表大。Catalyst中有两个实用程序 org.apache.spark.sql

浏览 27提问于2019-11-07得票数 0

2回答

将星火DataFrame值存储在scala变量中

scala、apache-spark、apache-spark-sql

我需要检查表中的重复文件名，如果文件计数为0，则需要使用sparkSql加载表中的文件。我写了下面的代码。val s1=spark.sql("select count(filename) from mytable where filename='myfile.csv'") //giving '2's1: org.apache.spark.sql.DataFrame = [count(file

浏览 6提问于2020-04-12得票数 1

回答已采纳

1回答

如何在Argo工作流中增加计数器？

apache-spark、kubernetes、pyspark、argo-workflows、argo

我已经编写了一个argo dag来在递归中触发火花作业，直到条件满足为止。我有一个计数器参数，需要增加1后，成功完成火花工作。但这是不可能的。这是我工作流程的片段。templates: dag: - name: test-spark-job - name: loop-it templa

浏览 12提问于2022-01-06得票数 1

1回答

N个任务的序列化结果(x )的总大小大于spark.driver.maxResultSize。

apache-spark、pyspark、apache-spark-sql

在火花数据帧上执行简单计数操作时，我得到以下错误。spark.driver.memory : 4gspark.executor.cores : 2我不知道为什么这段简单的代码会向驱动程序发送超过1GB的数据。如果我将spark.driver.maxResultSize增加到更高的值，代码可能会工作，但我想了解为什么驱

浏览 0提问于2020-08-14得票数 2

2回答

如何比较PySpark中两个数据帧的计数？

python、pyspark、apache-spark-sql

我使用的是PySpark，在这里我从数据帧中构建临时视图。作为其中的一部分，我想知道如何比较两个数据帧的计数，如果它们不匹配，就抛出一个错误。我的代码如下所示： df1 = spark.sql ("""SELECT Col1, Col2, Col3, Col4, Col5 FROM Table1""") df1.createOrReplaceTempView= spark.sql ("

浏览 8提问于2020-08-21得票数 1

回答已采纳

2回答

如何快速计算火花放电DataFrame上不同条件下的多个计数？

python、apache-spark、pyspark

比方说，我有这个火花缭乱的数据：我需要做100+计数，对于一个10行的数据集，计算需要几分钟。在有人问之前，这些计数的条件<

浏览 2提问于2021-10-18得票数 0

回答已采纳

1回答

Spark 2.1.1:如何将变量绑定到结构化流查询

apache-spark、user-defined-functions、spark-structured-streaming

我想使用变量来选择两个变量值范围之间的条目。在这个查询中，UPPERTIME('1')和LOWERTIME('1')是UDF，它们的定义是 return lowerTime.toString(); }, DataTypes.StringType); s

浏览 1提问于2017-06-16得票数 0

1回答

Spark HiveContext: HDFS上包含多个文件的表

python、apache-spark、dataframe、hdfs

表X在HDFS上的位置是/data/hive/X。文件：/data/hive/X/f2如果是，有没有办法指示Spark将所有文件加载到一个分区中，然后处理数据？提前谢谢。

浏览 8提问于2016-09-14得票数 0

回答已采纳

1回答

Spark:为什么带有"NOT IN“的subselect比"IN”慢得多？

performance、apache-spark

我在Apache Spark 2.x中有两个表。每个表都有一个公共行"IDNUM“。称它们为表A和表B。这在Apache SparkSQL中是很快的：这是令人难以置信的慢：它的速度要慢得多，仅仅是完成它就会更快： total = SELECT C

浏览 0提问于2019-01-26得票数 2

2回答

在Apache Spark中计算配置单元统计信息

apache-spark、hive

我正在尝试计算Apache Spark中的配置单元表统计数据：我还执行语句来查看收集到的内容：sqlCtx.sql('DESC FORMATTED t1') 我可以看到我的数据是被收集的。但是，当我在HIVE client (Ambari)中执行相同的staement时，没有显示任何统<em

浏览 2提问于2018-04-14得票数 1

1回答

Spark/Scala近似分组方式

scala、apache-spark、apache-spark-sql

在Spark中的sql数据集上，有没有一种在group by之后近似计数的方法？或者更一般地说，在Spark中计数分组的最快方法是什么？

浏览 28提问于2020-04-06得票数 2

回答已采纳

1回答

批间火花流数据共享

apache-spark、spark-streaming

但是我的用例需要在间隔之间共享数据。我将如何产生以下字数？单词"hadoop“和”火花“与前一个间隔计数的相对计数因此，在处理第二间隔数据时，应该有hadoop和spark的第一间隔字计数。这是一个

浏览 2提问于2015-05-05得票数 8

回答已采纳

1回答

Spark与Hive的差异与ANALYZE TABLE命令-

apache-spark、pyspark、apache-spark-sql、pyspark-sql

从Spark对Hive表运行的ANALYZE TABLE命令不会提供与从Hive发出的相同命令相同的性能改进。例如，我将一个数据帧插入到一个空的Hive表中： output.write.insertInto(“XXXXXXXX”) 然后运行analyze table命令：- spark.sql("ANALYZETABLE XXXXXXXX COMPUTE STATISTICS") 当我在Hive中做记录计数时，它非

浏览 261提问于2019-01-05得票数 2

回答已采纳

3回答

使用火花放电过滤和计数星火数据中的负/正值？

apache-spark、pyspark、apache-spark-sql

我有一个带有10MM+行和50+列的星星之火数据，需要计算一个特定列中值等于或小于0的时间。提前谢谢。

浏览 4提问于2018-09-14得票数 4

回答已采纳

2回答

在Scala/Spark聚合函数中，lit(0)和lit(1)做了什么？

scala、apache-spark

data_exploded.amount")==="A",col("data_exploded.positive_amount")).otherwise(lit(0))).as("aggAmount") ) lit(0)是引用位置0的索引，还是引用数字0的文字值？However, the usage in `count(lit(1)).as("aggDataCount中看到的定义对我来说就像是指一列的索引位置。谢谢。

浏览 903提问于2021-09-07得票数 2

回答已采纳

6回答

如何计算星火数据表中的列数？

scala、apache-spark、dataframe、apache-spark-sql

我在星火中有这个数据，我想计算其中可用列的数量。我知道如何计数列中的行数，但我希望计数列数。val df1 = Seq( ("spark", "scala", "2015-10-15", 11,"abhishek&

浏览 0提问于2018-07-27得票数 17

回答已采纳

点击加载更多