在pyspark中，我尝试计算用户ID在json日志中的唯一出现次数(数据集是一个json文件)。( )\ F.col("nested.user_id").alias("nested.user_id")
浏览 10提问于2019-06-12得票数 2
last_x_month", values="arpu_sum").add_prefix('arpu_sum_l').reset_index() 但我在皮斯帕克所做的 cdr = datamonthly.groupBy
浏览 55提问于2021-08-31得票数 0
回答已采纳
我有一个pyspark.sql.dataframe.DataFrame，是这样的：+---------------------------+--------------------+--------------------+
在collect_list(结果)列中
浏览 5提问于2019-12-09得票数 0
回答已采纳
1回答
我试图使用groupBy和sum (使用PySpark 1.5)在中创建一个新列(“PySpark”)。我的数字列已被转换为长列或双列。用来形成groupBy的列是字符串和时间戳。我的代码如下我对错误的追踪到了那一行
浏览 2提问于2016-03-07得票数 2
回答已采纳
2回答
我有以下数据结构：列"s“和"d”表示"x“列中对象的转换。我想要做的是获取"x“列中的每个对象的转换字符串。例如，“新”栏如下：有使用PySpark的好方法吗？我使用PySpark尝试了以下udf代码，但它不起作用：from pyspark.sql.functions importarray_distinct
浏览 13提问于2022-10-19得票数 1
回答已采纳
2回答
我有一个具有如下标题的数据集：我正在尝试基于groupBy列和每一列的行值之和(列数保持不变)进行groupBy。但当我用：import pyspark.sql.functions as F
df = df.
浏览 3提问于2022-04-19得票数 0
1回答
我在使用Spark1.6.2和dataframe+---------+-------------+-----+-------+-------+-------+-------+----540917.0|因此，我想减少Id，并计算P行的平均值和连接
浏览 5提问于2016-10-20得票数 5
回答已采纳
2回答
我尝试为其中几个定义了Struct模式，如下所示- from pyspark.sql.types import StructType,StructField, StringType
from pyspark.sql.functions有没有一种方法可以处理所有这样的场景，或者在这个表或数据帧被读取时猜测结构模式，并将其相应的stringDictionary展平为它自己的单独列？ 请帮帮忙。
浏览 23提问于2021-10-02得票数 3
回答已采纳
pyspark是否支持窗口函数(例如first, last, lag, lead)？
例如，如何按一列分组并按另一列排序，然后按SparkSQL或数据框选择每个组的第一行(这就像窗口函数一样)？我发现pyspark.sql.functions类包含聚合函数first和last，但它们不能用于groupBy类。
浏览 2提问于2015-03-24得票数 3
----+-------+-----------++----+-------+-------+-----------+
我如何在PySpark
浏览 1提问于2018-06-19得票数 1
回答已采纳
我有一列数字的电火花数据。我需要对该列进行求和，然后在python变量中将结果作为int返回。df.groupBy().sum()
但我得到了一份数据。
浏览 22提问于2017-12-14得票数 56
回答已采纳
1回答
为了生成一个count聚合，我们需要对几个列进行分组。我们目前的战略是：
在索引上而不是在列(或一组列)
浏览 2提问于2017-07-09得票数 3
考虑一下星火DataFrame，在这里我们有很少的列。目标是对其执行groupBy操作，而不将其转换为Pandas DataFrame。([ 'col_2'我打算用PySpark来写这个。到目前为止，我在PySpark上已经想出了类似的东西 'col_1',
'col_
浏览 5提问于2017-03-14得票数 4
回答已采纳
2回答
我试图将PySpark中的列除以它们各自的总和。我的dataframe(这里只使用一个列)如下所示：cols = event_rates.columns[1:]
for each in cols:
浏览 0提问于2018-05-23得票数 2
我有一个数据帧 +----------------+------------+-----++----------------+------------+-----+| Alpine Skiing| 2| 18|| Alpine Skiing| 1| 38|
| Archery|
浏览 10提问于2021-08-02得票数 0
回答已采纳
1回答
我正在尝试的方法是在父dataframe中嵌套dataframes，但是我不确定语法，也不确定它是否可行。然后我计划对它执行一个groupByKey，这样我就可以调用一个函数了：我是新来的火花，所以任何
浏览 4提问于2017-02-17得票数 3
回答已采纳
3回答
我来自R和到PySpark，因为它的出色的火花处理，我正在努力从一个上下文映射到另一个特定的概念。尤其是，假设我拥有如下数据集--+--a | 8b | 1x | y | na在PySpark中，我可以做一些几乎同样简单的事情，如果我要查看，根据行数概括：from pyspark.sql.fu
浏览 0提问于2018-02-14得票数 37
回答已采纳
1回答
在Pyspark中，我需要按ID分组并创建四个新列(min，max，std，ave)。from pyspark.sql import functions as F.withColumn
浏览 23提问于2020-09-22得票数 1
回答已采纳
我有一个pyspark 2.0.1。我正在尝试按我的数据框分组，并从我的数据框中检索所有字段的值。我发现将给我的国家和名称的属性和名称属性的值，它将给出的列标题为collect_list但是对于我的工作，我有大约15列的数据帧&我会运行一个循环，每次在循环中改变groupby字段，需要所有剩余的fields.Can的输出，你能
浏览 6提问于2017-10-18得票数 3
我有一段python代码，它在本地运行在一个pandas数据帧中： .groupby('A').apply(lambda x: myFunction(zip(x.B, x.C), x.name))sparkDF .agg(my
浏览 1提问于2016-10-13得票数 43
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
