spark数据帧分组值max函数空值

文章/答案/技术大牛

发布

1回答

apache-spark、dataframe、aggregation

我有一个数据帧，它有'prod_key'，'prod_name'，'Sales'，'Volume‘。我想要得到df的所有描述性统计数据。groupby_cols = ['prod_key','prod_name'] aggregate_cols = [ 'Salesc)) for f in funs for c in aggre

浏览 10提问于2018-02-03得票数 1

回答已采纳

3回答

我有一个由person、transaction_id和is_successful组成的数据帧。数据帧由具有不同transaction_ids的person的重复值组成，并且每个事务的is_successful将为True/False。我想要派生一个新的数据帧，它将为每个人都有一条记录，其中包含该人的最新transaction_id，并且仅当他的任何事务成功时才填充True。), (3,2, "False"), (3,3, "Fal

浏览 19提问于2021-08-07得票数 1

1回答

不要忽略MAX中的NULL

apache-spark、pyspark、apache-spark-sql、null、max

使用此数据帧：df = spark.createDataFrame([(None,), (1,), (2,)], ['col_name# +--------+# +--------+# | 1|# +--------+max = F.max('

浏览 4提问于2022-07-16得票数 0

回答已采纳

2回答

火花数据集-groupBy.agg(最大(列)，collect_list(列))

apache-spark、apache-spark-sql

我在groupby("_1","_2","_3","_4").agg(max("_5").as("time"),collect_list("_6").as("value"))上有一个数据集返回一个数据集，该数据集有四列的分组数据和max of time列的分组数据，collec

浏览 2提问于2019-03-02得票数 1

回答已采纳

1回答

如何得到每种产品的最小库存和最大库存之间的差额？

scala、apache-spark、dataframe

我想得到每个产品的最大库存和最小库存，并计算这些值之间的差异。如果股票等于null或为空，则应将其替换为0。这是我的密码：import org.apache.spark.sql.expressions._ val sales = df

浏览 2提问于2017-11-20得票数 1

回答已采纳

1回答

SparkR中是否有MaxAbsScaler (Spark 2.1.0或2.2.0)？

r、dataframe、spark-dataframe、preprocessor、sparkr

在spark中，有StandardScaler、MinMaxScaler、scala中的MaxAbsScaler、java和python。Spark在R (SparkR)中有这样的方法吗？

浏览 0提问于2017-11-10得票数 2

2回答

火花的最大和最小

apache-spark、pyspark、apache-spark-sql、pyspark-sql

我是Spark新手，我对SparkSQL中的聚合函数MAX和MIN有一些疑问谢谢。

浏览 2提问于2016-03-17得票数 0

1回答

如何用PySpark中某列的第一个非空值填充该列的空值

apache-spark、pyspark、apache-spark-sql

我正在尝试用数据帧中某列的第一个不为空的值填充该列的空值。我想要填充的数据帧如下所示，我希望'id_book‘列的所有行都具有相同的编号 ? 我尝试了以下方法，但仍然显示空值 w = Window.partitionBy('id_book').orderBy('id_book', 'date').rowsBetween(0,sys.maxs

浏览 55提问于2021-03-16得票数 0

2回答

分组数据集中的Bigquery非空(地理点)

google-bigquery

我需要从我的分组数据集中选择非空(地理点)。max函数给出以下错误。 ╔════════════════════╦══════════════════════════════╗╚════════════════════╩═════════════════════════

浏览 1提问于2021-08-25得票数 0

1回答

如何将一组RelationalGroupedDataset传递给一个函数？

scala、apache-spark、dataframe

我通过以下方式将csv读取为数据帧：然后我按三列进行分组，如下所示，它返回一个RelationalGroupedDataset df.groupBy("col1", "col2&quo

浏览 5提问于2017-07-20得票数 2

2回答

pandas dataframe min(axis=1)函数返回空

python、pandas、dataframe

当使用min(axis=1)函数时，它返回空序列：谢谢。

浏览 1提问于2021-03-17得票数 1

1回答

使用scala在spark-sql中按其他列检索最大日期分组

scala、apache-spark、apache-spark-sql

csv文件，它有3列数据类型:String，Long，Date。我想按字符串的第一列进行分组，并检索最大的日期值。但是它没有给出

浏览 22提问于2021-03-10得票数 0

回答已采纳

2回答

PySpark -有没有一种方法可以迭代多个列并用列的最大数字(+1)填充NAs？

python、loops、dataframe、pyspark、null

我有一个在多个列中有Nulls的PySpark数据帧。我正在尝试用相应列的最大数字+ 1填充空值。但是它要么没有填充空值，要么在所有列中都填充了'6‘。: for key, value in descr_dict.items(): df = spark_data.withColumn(

浏览 0提问于2019-08-22得票数 1

3回答

在带约束的Apache Spark (Scala)数据框中将布尔列转换为数值列？

scala、spark-dataframe

= [a: string, b: bigint, c: boolean]上面的代码失败了，因为c是一个布尔变量，而聚合不能应用于布尔值。Spark中是否有一个函数可以将Spark数据帧的整列的true值转换为1，并将false转换为0。"a","b&

浏览 2提问于2017-11-01得票数 3

回答已采纳

2回答

Spark dataframe将行中特定列的值替换为空值

scala、apache-spark、dataframe、null、apache-spark-sql

在尝试用空值替换Spark dataframe的特定列的值时，我遇到了一个问题。我有一个超过50列的数据帧，其中两列是键列。我想创建一个具有相同模式的新数据帧，并且新数据帧应该具有来自键列的值和非键列中的空值。为了避免这种情况，我尝试将list_df作为一个空数据帧，使用模式作为non_key_cols_df，

浏览 18提问于2018-08-29得票数 1

回答已采纳

4回答

Pyspark: Jupyter Notebook中的spark数据帧列宽配置

python、apache-spark、pyspark、spark-dataframe、jupyter-notebook

我在Jupyter Notebook中有以下代码：pd.set_option('display.max_colwidth', 80)我想增加列宽，这样就可以看到field_1和field_2的完整值。我知道我们可以对pandas数据帧使用pd.set_option('display.max_colwidth&#x

浏览 2提问于2016-08-26得票数 2

1回答

统一Spark中具有不同列数的两个表

sql、apache-spark

如何联合包含不同列数的两个数据帧A和B，并为数据帧A和B中不常见的列获取空值？我可以看到spark的unionAll不支持此操作，并抛出以下错误 org.apache.spark.sql.AnalysisException: Union can only be performedon tables with the same number of columns, but the left table has 11 columns and the rig

浏览 0提问于2016-08-04得票数 0

1回答

在databricks中使用sparklyr查找日期列的最大值

r、databricks、sparklyr

我只是尝试使用databricks中的sparklyr导入的数据来查找日期列的最大值： data %>% dplyr::select(date_variable) %>% max() 这将返回一个错误： Error in max(.) : invalid 'type' (list) of argument Error in max(.) : invalid 'type' (list) of argument如果我只做max(data$d

浏览 7提问于2020-09-26得票数 1

1回答

spark数据帧空值计数

apache-spark、null、spark-dataframe

我是spark的新手，我想计算每一列的空值率(我有200列)，我的函数如下：val args = dataFrame.columns.length

浏览 2提问于2017-09-07得票数 3

3回答

在Spark DataFrame中将空值转换为空数组

apache-spark、dataframe、apache-spark-sql、apache-spark-1.5

我有一个Spark数据帧，其中一列是整数数组。该列可以为空，因为它来自左外部联接。我希望将所有null值转换为一个空数组，这样以后就不必处理null值了。但是，这会导致以下异常：at org.apache.spark.sql.catalyst.expressions.Literal$.apply(literals.scal

浏览 5提问于2016-01-08得票数 24

回答已采纳

点击加载更多