groupBy在Spark中的应用

文章/答案/技术大牛

发布

0回答

python、apache-spark、pyspark、apache-spark-sql、spark-dataframe

我目前正在学习python中的spark。我有一个小问题，在SQL这样的其他语言中，我们可以简单地按指定的列对表进行分组，然后对它们执行进一步的操作，如sum、count等。我们如何在Spark中做到这一点？我有这样的模式： [name:"DEF&q

浏览 3提问于2016-07-14得票数 2

1回答

Microsoft Spark聚合方法

c#、.net、apache-spark

我正在使用Microsoft.Spark Spark API并将GroupBy应用于DataFrame对象。我想在分组后将Agg应用于多个列。在pyspark中，我会用下面这样的东西来表达我想要实现的目标 new_df = df.groupBy("customer_id") func.mean("a").alias使用.NET应用

浏览 18提问于2021-10-01得票数 0

回答已采纳

1回答

我无法在groupBy函数中指定列列表以及窗口操作。)这一行中的多个标记:重载的方法值String*)org.apache.spark.sql.RelationalGroupedDataset：(col1: String，cols： (cols: org.apache.spark.sql.Column*)org.apache.spark.sql.RelationalGroupedDataset )不能应用于(ListStri

浏览 4提问于2020-10-30得票数 0

回答已采纳

1回答

Spark SQL中Group By子句的底层实现

apache-spark、apache-spark-sql

Spark SQL中Group By子句的底层实现是什么？我知道Spark支持下面两种类型的Group by操作，即GroupByKey和ReduceByKey。ReduceByKey是一种map side reduce，它提供了比GroupByKey更好的性能。在我们的应用程序代码中，我们在Spark Dataframe上使用Spark SQL，而不是直接创建R

浏览 0提问于2019-08-30得票数 1

1回答

火花放电中的计数和群值

pandas、dataframe、pyspark、transform

我是Spark的新手，我正在尝试将groupby和count应用到count属性的dataframe df中。import pandas as pd (1, "Spark is awesome"),2 2

浏览 4提问于2017-02-07得票数 1

回答已采纳

5回答

PySpark中的Panda的value_counts()的等价物是什么？

dataframe、count、pyspark、pandas-groupby

我有以下python/pandas命令：我在这里获取DataFrameGroupBy对象中所有列的值计数。如何在PySpark中执行此操作？

浏览 1提问于2018-06-27得票数 32

2回答

为什么隐式类中的函数不可用？

scala、scala-implicits

我正在尝试教自己Scala，并使用IntelliJ的想法作为我的IDE。我已经启动IntelliJ的shell，运行console，然后输入以下内容：import org.apache.spark.sql(new SparkConf().setMaster("local[*]")).enableHiveSupport().getOrCreate()

浏览 1提问于2018-05-22得票数 1

回答已采纳

1回答

使一个函数成为.agg()在groupBy语句中的组件，将生成一个AssertionError

python、pandas、apache-spark

请注意，只有在您已经通过运行以下命令安装spark时，您才可以在本地运行此命令。否则，在Databricks集群上复制该问题，该集群将自动初始化星体上下文。= spark.createDataFrame(spark_dataframe)我按ID对数据进行分组，并希望将应用于函数中的聚合。因为在许多不同的应用程序中应用

浏览 3提问于2020-07-01得票数 1

回答已采纳

2回答

如何使用Dataset API (如SQL的“按1分组”或“按2排序”)使用序数？

apache-spark、dataframe、apache-spark-sql

我能够在Spark‘文字’查询中使用序数(在GROUP BY和ORDER BY之后的这些整数)：但是对于DataFrames/DataSet，我必须始终使用列名： df.select($"ProfileName").groupBy($"ProfileName").count(

浏览 3提问于2017-07-19得票数 2

回答已采纳

1回答

如何避免使用数据访问接口( dataframe )使用groupBy来查找星星之列上的平均列？

apache-spark、pyspark

我有一个具有以下数据和列的数据： +- monthly_sales +50.0-低.年.月.日.我正试图将每种销售类型的平均值转化为dataframe，其中我在最后的dataframe中只有三行(每种销售类型一行)。sale & average_sale 我使用groupBy来实现这个目标。sales_df.groupBy(

浏览 3提问于2021-05-01得票数 1

1回答

通过bucketBy实现Spark DataFrame / Dataset groupBy优化

apache-spark、group-by、query-optimization、parquet、bucket

我正在研究一个用例的选项，在这种用例中，我们将数据集存储为拼图文件，并希望稍后在读取数据时对特定键运行有效的groupBy查询。我读过一些关于groupBy优化的文章，但是没有找到太多关于它的信息(除了RDD级别的reduceByKey)。我所考虑的是，如果数据集是由键写成桶的，那么它也将在groupBy中使用。我脑海中的一个想法是通过mapPartitions然后groupBy来

浏览 61提问于2019-05-18得票数 3

2回答

Spark-scala聚合列表中的多个列

scala、apache-spark、aggregate

我有一个数据帧，其中有几个数值列是不固定的(它们在每次执行过程中都会发生变化)。假设我有一个带有数字列名称的Seq对象。我想对这些列中的每一列应用一个聚合函数。(c).as(c) 但它给出了以下错误： scala> var avgTktsPerPeriodo =df.groupBy("ID").agg(sum

浏览 2提问于2018-09-04得票数 0

2回答

将cache()和count()应用于数据库中的Spark是非常慢的。

python、apache-spark、pyspark、azure-databricks

然而，在我尝试这样做的过程中，我遇到了以下悖论：步骤1:从Azure数据湖存储帐户读取800万行 read_avro_data=spark.read.format("avro"我的应用程序有800万行，运行得很好，但我想在大数据环境中对我的应用程序进行压力测试。因为800万行不是大数据。因此，我复制了我的800万行-- Spark 287次--22亿行。

浏览 0提问于2020-06-01得票数 3

回答已采纳

1回答

用农业火花和scala进行选择

scala、apache-spark、apache-spark-sql

我用pySpark写的df.select('*', date_format('window_start', 'yyyy-MM-dd hh:mm').alias('time_window')) \.agg({'total_score': 'sum'})我想让它在scala语言中运行，我做了这个，我得到了("

浏览 0提问于2017-02-27得票数 0

1回答

将GroupBy+aggregate转换为groupByKey

apache-spark、pyspark、spark-dataframe

我设计了一个如下所示的DF：|A |B ||1 |"bar"|A |B ||2 |"bar/foo" |df.groupby("A") .ag

浏览 0提问于2017-08-07得票数 1

回答已采纳

1回答

在databricks错误中查找所有列的和

scala、apache-spark

我是Scala的新手，我基本上想在一个数据集上执行一些聚合。是否有可能将它们聚在一起，或者我是否应该将它们分开(和、最小、最大)？这就是我迄今为止尝试过的： myDF .sum()它给了我以下错误信息： ( String*)org.apa

浏览 0提问于2019-05-21得票数 2

3回答

在带约束的Apache Spark (Scala)数据框中将布尔列转换为数值列？

scala、spark-dataframe

= [a: string, b: bigint, c: boolean]上面的代码失败了，因为c是一个布尔变量，而聚合不能应用于布尔值。Spark中是否有一个函数可以将Spark数据帧的整列的true值转换为1，并将false转换为0。($"a",$"b")

浏览 2提问于2017-11-01得票数 3

回答已采纳

3回答

如何在spark数据流结构中使用非基于时间的窗口？

pyspark、apache-spark-sql、spark-streaming

我正在尝试使用window on structured与spark和kafka。我在非基于时间的数据上使用window，所以我得到了这个错误：下面是我的代码：output

浏览 0提问于2019-04-09得票数 5

1回答

使用s3-dist-cp进行星火应用程序消费的JSON聚合

apache-spark-sql、amazon-emr、distcp、s3distcp

运行在AWS上的spark应用程序从存储在S3中的JSON数组加载数据。然后通过火花引擎处理由此创建的Dataframe。我的源JSON数据以多个S3对象的形式出现。我需要将它们压缩到JSON数组中，以减少在我的Spark应用程序中读取的S3对象的数量。我尝试使用"s3-dist-

浏览 13提问于2020-04-07得票数 0

1回答

PySpark/Delta数据仓库的高效执行

apache-spark、apache-spark-sql、databricks、delta-lake

使用Databricks上的pyspark/Delta湖泊，我有以下场景：result = sdf.filter(...).groupBy(...).agg(...)...).count() # transformation performed here 正如我所理解的，由于链式执行，result实际上不是根据声明计算的，而是在什么时候使用<em

浏览 2提问于2019-11-01得票数 1

回答已采纳

点击加载更多