Spark:递归的'ArrayType Column => ArrayType Column‘函数

文章/答案/技术大牛

发布

1回答

scala、apache-spark、apache-spark-sql

我正在尝试构建一个递归重写ArrayType列的spark函数： import org.apache.spark.sql.我认为该函数缺少的一个方面是它不是尾递归的；也就是说，整个'when().otherwise()‘块与'if else’块不同。话虽如此，该函数目前在应用于即使是很小的数据帧时也会抛出堆栈溢出(所以我认为它肯定存在比不是尾递归</em

浏览 13提问于2019-01-31得票数 0

1回答

分解多列SparkSQL

apache-spark、apache-spark-sql

我们如何在Spark中分解多个数组列？我有一个包含5个字符串化数组列的数据帧，我想在所有5列上进行分解。为了简单起见，用3列显示示例。from_json(subCategoryList, 'array<string>')) AS subCategoryList,... from table 但这是不允许的，我得到了以下错误- Exception in thread "main" org.apache.spark.sql.AnalysisEx

浏览 5提问于2020-09-08得票数 0

回答已采纳

1回答

为列的数组制作scala测试用例

scala、apache-spark

浏览 24提问于2020-05-06得票数 0

回答已采纳

2回答

Scala-星体扁平嵌套模式包含数组

scala、apache-spark、apache-spark-sql

nullable = true)我过去常常忽略数组字段，并使用这段代码来夷平我的模式： schema.fields.flatMapArray(col(colName)) })并且像使用df.select(flattenSchema(df.schema):

浏览 0提问于2018-02-06得票数 3

2回答

如何在流查询(Java)中使用JSON数组作为Kafka记录？

java、json、apache-spark、apache-kafka、spark-structured-streaming

我看过许多从Kafa主题读取JSON数据的示例。, "bought_date": "2019-01-01"下面的代码适用于上面的用例：package io.example; import org.apache.spark.sql.Column</em

浏览 31提问于2019-12-02得票数 2

回答已采纳

1回答

基于列值的Pyspark复制行

apache-spark、pyspark、apache-spark-sql、pyspark-sql

我希望根据每一行上给定列的值复制DataFrame中的所有行，而不是索引每一行。假设我有：T1 3我希望结果是：T1 3 1T1 3 3T2 2 2 我能够使用固定值进行类似的操作，但不能使用列中的信息

浏览 0提问于2018-06-29得票数 3

回答已采纳

2回答

如何映射/转换ApacheSpark2.3.1中ArrayType中的每个元素

scala、apache-spark、dataframe、apache-spark-sql

短版本：如何将嵌套数组中的每个条目转换为不同的内容(例如，结构)？： StructField("column_a", ArrayType(StringType), true)val data = Seq( StructField("column_b", ArrayType(StructType( A

浏览 0提问于2018-08-10得票数 4

回答已采纳

1回答

Apache和UDF

java、apache-spark、apache-spark-sql

Spark 1.6 / Java-7# adding new column for the UDF computation:UDF函数创建新StructType并将其放入单元格的正确格式是什么？compute(SQLContext sqlContext, DataFrame df) { sqlContext.udf().registe

浏览 2提问于2021-01-13得票数 0

回答已采纳

1回答

在Apache中，从用户定义的聚合函数返回多个数组

java、apache-spark、apache-spark-sql、aggregate-functions、user-defined-functions

我正在尝试使用Apache在Java中创建一个用户定义的聚合函数，该函数在完成时返回多个数组。我已经在网上搜索过了，找不到任何关于如何做到这一点的例子或建议。我能够返回一个数组，但无法知道如何在计算()方法中以正确的格式获取数据以返回多个数组。customUDAF.apply(dataFrame.col("long_col"), dataFrame.col("double_col"))).as("processed_data"); 我已经在下面包

浏览 4提问于2015-11-26得票数 9

回答已采纳

1回答

编写一个功能类似于Python函数的Pyspark

apache-spark、pyspark

我想编写一个any_lambda函数，检查ArrayType列中的任何元素是否符合lambda函数指定的条件。下面是我有的不起作用的代码： return any(list(map(f, l))) [

浏览 1提问于2017-09-17得票数 1

回答已采纳

1回答

Spark:如何将spark arrayType作为表达式进行迭代

scala、apache-spark

构建递归函数。def loop(path: String, dt: DataType, acc:Seq[String]): Seq[String] = { case s: ArrayType+ "." + f.name, f.dataType, acc)) acc:+ path我说" error : value字段不是org.apache.spark.sql.types.ArrayType<e

浏览 0提问于2016-07-19得票数 1

回答已采纳

1回答

如何检查schema的字段是否为字符串数组类型

arrays、string、scala、apache-spark

is ArrayType, " + "writing arrays to CSV isn't supported.}) 但是现在我想要这样的情况，如果schema.field.typeName是字符串数组或字符串数组，那么字符串数组应该转换为逗号分隔的字符串。我希望只支持字符串数组，而不支持其他字符串数组，如果字符串数组之外有任何东西，那么我想传递下面的异常 throw ArrayDataTypeNotSupportedException(s&

浏览 40提问于2020-08-13得票数 0

1回答

Spark sql查询返回StringType而不是ArrayType？

apache-spark-sql、spark-dataframe

在尝试在spark.sql查询期间应用我的自定义函数时，查询只返回一个看起来像我的数组的长字符串，而不是以数组的形式返回清理过的单词。在尝试应用CountVectorizer时，这会给我一个错误。它引发的错误是'requirement failed: Column cleanedWords must be of type equal to one of the following types:[ArrayType</

浏览 0提问于2016-11-09得票数 1

2回答

返回可变大小的元组的PySpark UDF

python、apache-spark、pyspark、apache-spark-sql、user-defined-functions

我使用一个现有的Dataframe，并创建一个包含元组的字段。UDF用于生成该字段。例如，在这里，我使用源元组并修改它的元素以生成一个新元素：据我所理解，要返回元组，必须将UDF的返回类型声明为StructType。但是，由于不知道返回的元组中的元素数量，所以我不能只编写以下内容： St

浏览 4提问于2018-01-09得票数 4

回答已采纳

2回答

可以在Spark* Dataframe列中存储numpy数组吗？*

numpy、pyspark、spark-dataframe

我有一个dataframe，我对它应用了一个函数。此函数返回一个numpy array，代码如下：dataframe = dataframe.withColumn('vector', create_vector_udf('text')) dmoz_spark_df.select('lang','url','v

浏览 4提问于2017-07-07得票数 10

1回答

PySpark使用UDF创建组合

apache-spark、pyspark、spark-dataframe、user-defined-functions

这可能是一个基本的问题，但我已经被困了一段时间了。from pyspark.sql.functions import udf File "/Users/sg/Downloads/spark/pytho

浏览 0提问于2018-04-13得票数 2

1回答

从不属于特定架构的DataFrame中选择嵌套字段

scala、apache-spark

假设我有一个带有此模式的DataFrame： a: IntegerType, c: StringType,{ b: { // nested struct }是否有一种方法以编程方式从只有第二个模式中列的原始DataFrame中创建一个新的has？同样地，如果我有一个非常复杂的</em

浏览 1提问于2022-04-14得票数 1

4回答

如何在Spark中压缩两个数组列

python、pandas、apache-spark、pyspark、apache-spark-sql

我的数据集如下：df['column_2']: '1.0, 2.0, 3.0' 我想将这两列连接到第三列中，如下所示，我的每一行数据都是这样的为了提高效率，我想在PySpark中做同样的事情。我已经成功地阅读了spark中的数据，但我很难确定如何使用PySpark等效函数复制Pandas<e

浏览 2提问于2019-01-21得票数 9

回答已采纳

1回答

Spark AnalysisException在Spark SQL中“扁平化”DataFrame时

apache-spark、apache-spark-sql

我正在使用给定here的方法来扁平化Spark SQL中的DataFrame。下面是我的代码： package com.acme.etl.xml import org.apache.spark.sql.{Column, SparkSession} val <e

浏览 19提问于2019-04-20得票数 6

回答已采纳

1回答

Spark dataframe中ListType、MapType、StructType字段的通用处理

scala、apache-spark、apache-spark-sql

如何在Scala中对Spark StructType执行通用处理，如按名称选择字段、遍历映射/列表字段等？在spark dataframe中，我有类型为"ArrayType“的列"instances”，其模式如下： instances[ArrayType]: 0 [ StructType:列"instances“转换为类型为"totalExperience”的列 derived column "tota

浏览 117提问于2020-07-10得票数 0

点击加载更多